AnythingLLM funcționează cu mulți furnizori de modele — comerciali (OpenAI, Anthropic) sau locali (Ollama, LM Studio).
1. Deschide setările de LLM
Mergi la Settings → LLM Preference (Preferințe LLM). Aici alegi furnizorul principal.
2. Furnizor comercial (de exemplu OpenAI)
Selectează furnizorul, introdu cheia API și alege modelul. AnythingLLM va folosi acest model pentru răspunsuri.
3. Model local (Ollama)
Alege Ollama ca furnizor și completează:
- Base URL — adresa serverului Ollama (de exemplu
http://host.docker.internal:11434dacă AnythingLLM rulează în Docker). - Model — numele modelului descărcat (de exemplu
llama3.1).
4. Setări per workspace
Poți seta un model implicit la nivel de aplicație și, la nevoie, un model diferit pentru fiecare workspace. Astfel folosești, de exemplu, un model local pentru date sensibile și unul comercial pentru sarcini complexe.
5. Testează
Deschide un workspace și trimite un mesaj. Dacă apare o eroare, verifică cheia API (la comerciali) sau adresa/rularea serverului (la Ollama).
Sfat: Atenție — LLM-ul (pentru răspunsuri) și embedder-ul (pentru indexarea documentelor) sunt setări separate. Configurează-le pe amândouă (vezi ghidul despre embedder și baza vectorială).
