オンプレミスのプライベートサーバーでは、ローカル AI モデルを設定することで、すべての AI 処理を外部サービスに接続せず、ローカル環境内で実行できます。これにより、データセキュリティを高めることができ、オフライン環境にも対応できます。
ragic.properties で以下のパラメータを設定してください。
1. LOCAL_AI_URL=
必須です。ローカル AI モデルサービスの API エンドポイントを入力してください。OpenAI API 形式と互換性がある必要があります。例:http://localhost:11434/v1/
2. LOCAL_AI_KEY=
任意です。AI サービス側で必要な場合は API キーを入力してください。多くのローカル AI モデルサービスでは、この設定は不要です。
備考: LOCAL_AI_URL を設定すると、システムは常にローカル AI モデルを使用し、クラウド AI サービスには切り替わりません。
システムは、モデル名のプレフィックスに基づいてモデルを自動識別・マッピングし、以下の一般的なモデルに対応しています。
| プレフィックス | 例 |
|---|---|
| local/ | local/custom-model |
| qwen* | qwen2.5:32b |
| llama* | llama3.3:70b |
| mistral* | mistral:22b |
| phi* | phi3:14b |
| deepseek* | deepseek-v2:16b |