Ollama – Instalare locală LLM
Introducere
Modelele lingvistice de mari dimensiuni (LLM) devin din ce în ce mai eficiente și îți oferă posibilitatea de a avea, la îndemână, propriul tău asistent personal. Dacă dorești, acesta poate funcționa chiar și complet deconectat de lumea exterioară, oferindu-ți asistență de la simple căutări la înțelegerea obiectelor vizuale și până la ajutorul în generarea de idei. Deși multe modele sunt disponibile pe bază de abonament, există unele care pot fi utilizate și personalizate gratuit, după bunul tău plac.
Ce este Ollama?
Vă prezentăm Ollama, o aplicație open source care vă ajută să organizați, să rulați și să creați modele LLM la nivel local pe computerul dumneavoastră, indiferent de sistemul de operare utilizat (Linux, Windows, macOS). Procesul este foarte simplu și intuitiv, iar în doar câteva minute veți putea avea propriul model de IA, instalat pe computerul dumneavoastră. Cerințele de sistem variază de la un simplu PC de uz casnic cu o placă grafică medie până la modele care nu pot rula nici măcar pe stații de lucru de 50.000 de dolari, din cauza dimensiunii și complexității lor. Ne vom concentra pe cele care pot fi instalate pe majoritatea PC-urilor.
Instalare
Pentru instalarea Ollama aveți nevoie de următoarele
Pe Mac
Accesați https://ollama.com/download/mac
descarcă aplicația pentru Mac
instalează-l pe MacOS
Pe Linux
Pe Linux https://ollama.com/download/linux
descărcați clientul pentru Linux folosind
curl -fsSL https://ollama.com/install.sh | sh
Pe Windows
Accesați https://ollama.com/download/windows
descarcă aplicația pentru Windows
instalați-l pe computerul dvs. cu Windows
După instalarea clientului pe sistemul de operare respectiv, verificați spațiul disponibil pe unitatea de stocare. Fiecare model poate ocupa de la câțiva GB până la zeci de GB, așa că asigurați-vă că aveți suficient spațiu pentru a-l descărca. Apoi, puteți deschide Terminalul (denumirea este aceeași pe toate platformele) și rulați următoarea comandă:
ollama run „Ollamamodel”
Așteptați finalizarea procesului și veți primi automat o notificare cu privire la modelul pe care l-ați descărcat. Puteți găsi lista modelelor LLM disponibile pe computerul dumneavoastră executând:
lista ollama
Pentru a descărca un alt model, trebuie să rulați din nou comanda „ollama run ollamamodel”, iar o nouă descărcare va începe.
La o estimare, modelele cu mai puțin de 10 miliarde de parametri funcționează fără probleme pe următoarea configurație de PC:
AMD 3900x
32 GB RAM
1 TB spațiu de stocare NVMe
Nvidia 4070 Super
Am încercat și Gemma 2 cu 27B de parametri, dar a fost pur și simplu prea lent. Llama 3.3 a dat eroare, indicând că nu există suficientă memorie RAM disponibilă, deci 32 GB nu sunt suficienți pentru rularea modelului respectiv. Dintre cele pe care le-am testat, următoarele modele au rulat fără probleme pe calculatorul meu:
- llama 3.2
- gemma 2
Configurarea interfeței WebGUI
Pentru configurarea unei interfețe WebGUI, similară cu cea disponibilă pe ChatGPT, trebuie să configurați un instrument suplimentar numit WebUI. Puteți găsi descrierea detaliată a instrumentului pe GitHub, dar, în scopul nostru, puteți rula următoarea comandă pentru a porni containerul Docker:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
După executarea comenzii, containerul este configurat și îl poți accesa folosind localhost:3000 (sau adresa IP a computerului tău pe portul 3000).
La prima autentificare, trebuie să vă creați un cont care va fi contul dvs. de administrator.
Creează un cont
După ce introduceți numele de utilizator și parola inițiale, vă autentificați în consola de administrare și puteți configura utilizatori suplimentari, dacă este necesar.
Și iată. Ai propriul tău Asistent, gata să fie personalizat și să-ți ofere și mai multe modalități de a te ajuta. Abia aștept să mă joc cu el și să-l configurez după bunul meu plac, și sper că și tu la fel.
Îți doresc o zi minunată, TFG
