¿Cómo utilizar un modelo de IA local en un servidor privado local?

Puedes configurar un modelo LLM local y un modelo de incrustación (embedding) local por separado en un servidor privado local, de modo que el procesamiento de IA se ejecute dentro de tu propia infraestructura sin necesidad de conectarse a servicios externos. Esto mejora la seguridad de los datos y permite el funcionamiento en entornos sin conexión.

Configuración del modelo LLM local

Configure los siguientes parámetros en ragic.properties:

1. LOCAL_AI_URL=

Obligatorio. Introduzca el endpoint de la API de su servicio de modelo de IA local. Debe ser compatible con el formato de la API de OpenAI; por ejemplo: http://localhost:11434/v1/.

2. LOCAL_AI_KEY=

Opcional. Introduce la clave de API si tu servicio de IA la requiere. La mayoría de los servicios de modelos de IA locales no necesitan esta configuración.

Nota: Una vez configurado LOCAL_AI_URL, el sistema utilizará siempre el modelo de IA local y no cambiará a servicios de IA en la nube.

Prefijos de modelos compatibles

El sistema identifica y asigna automáticamente los modelos basándose en los prefijos de sus nombres, y es compatible con los siguientes modelos comunes:

Configuración del modelo de incrustación local

También puede configurar un modelo de incrustación local (Local Embedding model) para que la búsqueda semántica se ejecute en su infraestructura local. Si no se configura, la búsqueda semántica utilizará, en su lugar, el modelo de incrustación en la nube.

Configure los siguientes parámetros en ragic.properties:

1. LOCAL_EMBEDDING_URL=

Obligatorio. Introduce el endpoint de la API de tu servicio de modelo de incrustación (embedding) local; por ejemplo: http://localhost:11434/api/embeddings.

2. LOCAL_EMBEDDING_MODEL=

Obligatorio. Introduce el nombre del modelo de incrustación; por ejemplo: qwen3-embedding:0.6b.