Cum conectez LibreChat la Ollama (modele locale)?

LibreChat poate folosi modele locale prin Ollama, nu doar furnizori comerciali. Astfel, datele nu părăsesc serverul tău și nu plătești per token. Conectarea se face prin endpointul compatibil OpenAI al Ollama.

1. Asigură-te că Ollama rulează

Pe server, Ollama trebuie instalat și cu cel puțin un model descărcat:

ollama pull llama3.1

Ollama expune un endpoint compatibil OpenAI la /v1, pe portul 11434.

2. Adaugă Ollama ca endpoint personalizat

În librechat.yaml, adaugă un endpoint custom:

endpoints:
  custom:
    - name: "Ollama"
      apiKey: "ollama"
      baseURL: "http://host.docker.internal:11434/v1"
      models:
        default: ["llama3.1","mistral"]
        fetch: true

Dacă LibreChat rulează în Docker, folosește host.docker.internal (sau IP-ul gazdei) ca să ajungă la Ollama.

3. Repornește LibreChat

docker compose up -d --force-recreate

4. Folosește modelul

În interfață, alege endpointul „Ollama” și modelul local dorit. Gata — chatul folosește acum modelul de pe serverul tău.