Ollama – Lokale LLM-Installation
Einleitung
LLMs, also große Sprachmodelle, werden immer ausgereifter und bieten Ihnen die Möglichkeit, Ihren ganz persönlichen Assistenten immer griffbereit zu haben. Wenn Sie möchten, sogar völlig unabhängig von der Außenwelt – von einfachen Suchanfragen über das Verständnis visueller Objekte bis hin zur Unterstützung beim Brainstorming. Während viele Modelle kostenpflichtig sind, gibt es auch einige, die kostenlos genutzt und nach Ihren Wünschen angepasst werden können.
Was ist Ollama?
Wir stellen Ihnen Ollama vor, eine Open-Source-Anwendung, mit der Sie große Sprachmodelle (LLMs) lokal auf Ihrem Computer organisieren, ausführen und erstellen können – unabhängig von der verwendeten Betriebssystemplattform (Linux, Windows, macOS). Der Vorgang ist sehr einfach und intuitiv, und innerhalb weniger Minuten können Sie Ihr ganz eigenes KI-Modell auf Ihrem Rechner installieren. Die PC-Anforderungen reichen von einem einfachen Consumer-PC mit einer Grafikkarte mittlerer Leistung bis hin zu Modellen, die aufgrund ihrer Größe und Komplexität nicht auf 50.000-Dollar-Workstations laufen. Wir werden uns auf diejenigen konzentrieren, die auf den meisten PCs installiert werden können.
Installation
Für die Installation von Ollama benötigen Sie Folgendes
Auf dem Mac
Gehen Sie zu https://ollama.com/download/mac
Laden Sie den Client für Mac herunter
Installieren Sie es auf Ihrem macOS
Unter Linux
Unter Linux https://ollama.com/download/linux
Laden Sie den Client für Linux herunter, indem Sie
curl -fsSL https://ollama.com/install.sh | sh
Unter Windows
Gehen Sie zu https://ollama.com/download/windows
Laden Sie den Client für Windows herunter
Installieren Sie es auf Ihrem Windows-PC
Nachdem Sie den Client auf dem jeweiligen Betriebssystem installiert haben, überprüfen Sie den Speicherplatz auf Ihrer Festplatte. Jedes Modell kann zwischen einigen GB und zweistelligen GB-Werten beanspruchen. Stellen Sie daher sicher, dass Sie über genügend Speicherplatz zum Herunterladen verfügen. Anschließend können Sie das Terminal öffnen (die Bezeichnung ist plattformübergreifend einheitlich) und den folgenden Befehl ausführen:
ollama run„Ollamamodel“
Warten Sie, bis der Vorgang abgeschlossen ist. Anschließend erhalten Sie automatisch eine Aufforderung zur Auswahl des von Ihnen heruntergeladenen Modells. Die Liste der auf Ihrem Rechner verfügbaren LLMs können Sie mit folgendem Befehl aufrufen:
ollama-Liste
Um ein anderes Modell herunterzuladen, müssen Sie den Befehl „ollama run ollamamodel“ erneut ausführen; daraufhin wird ein neuer Download gestartet.
Nach unserer Einschätzung laufen Modelle mit weniger als 10 Milliarden Parametern auf der folgenden PC-Konfiguration reibungslos:
AMD 3900x
32 GB RAM
1 TB NVMe-Speicher
Nvidia 4070 Super
Ich habe auch Gemma 2 mit 27B-Parametern ausprobiert, aber das war einfach zu langsam. Llama 3.3 schlug mit der Fehlermeldung fehl, dass nicht genügend RAM verfügbar sei; 32 GB reichen also nicht aus, um das jeweilige Modell auszuführen. Von den Modellen, die ich getestet habe, liefen die folgenden auf meinem Rechner reibungslos:
- Llama 3.2
- gemma 2
WebGUI konfigurieren
Um eine Web-GUI zu konfigurieren, ähnlich wie bei ChatGPT, müssen Sie ein zusätzliches Tool namens WebUI einrichten. Eine ausführliche Beschreibung des Tools finden Sie auf GitHub, aber für unsere Zwecke können Sie den folgenden Befehl ausführen, um den Docker-Container zu starten:
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Nach Ausführung des Befehls ist der Container eingerichtet und Sie können ihn über localhost:3000 (oder die IP-Adresse Ihres Rechners auf Port 3000) aufrufen.
Bei der ersten Anmeldung müssen Sie ein Konto erstellen, das als Ihr Administratorkonto dient.
Konto erstellen
Nachdem Sie den ersten Benutzernamen und das erste Passwort eingegeben haben, melden Sie sich bei der Admin-Konsole an und können bei Bedarf weitere Benutzer einrichten.
Und das war’s auch schon. Dein ganz persönlicher Assistent, bereit für die individuelle Anpassung und weitere Möglichkeiten, wie er dir helfen kann. Ich kann es kaum erwarten, damit herumzuspielen und ihn nach meinen Wünschen zu konfigurieren, und ich hoffe, dir geht es genauso.
Ich wünsche dir einen schönen Tag, TFG
