Ollama mit Docker: Installation, Speicher und GPU

Voraussetzungen und Grenzen

Das folgende Beispiel setzt eine funktionierende Docker-Engine mit Compose voraus und startet Ollama zunächst ohne ausdrücklich zugewiesene GPU. Prüfe vorab mit docker version und docker compose version, ob beide Komponenten erreichbar sind. Für die erste Einrichtung unter Linux brauchst du einen Benutzer, der Container starten darf. Der Ollama-Grundlagenguide erklärt die Rollen von Laufzeit, Modell und Oberfläche, auf denen dieses Container-Setup aufbaut.

Docker ersetzt keine fehlenden Rechenressourcen. Das ausgewählte Modell muss zusammen mit seinem Laufzeitspeicher auf den Rechner passen. Eine pauschale RAM-Zahl ist dafür wenig hilfreich: Modellvariante, Quantisierung, Kontext und parallele Anfragen verändern den Bedarf. Wie du den aktiven Kontext prüfst und änderst, zeigt der Guide zum Ollama-Kontextfenster.

Ollama veröffentlicht ein offizielles Docker-Setup. Die CPU-Variante eignet sich zum Prüfen des Aufbaus; eine bestimmte Antwortgeschwindigkeit ist damit nicht zugesagt.

Ein Compose-Setup mit dauerhaftem Speicher

Lege in einem eigenen Projektordner die Datei compose.yaml mit dieser Konfiguration an:

services:
  ollama:
    image: ollama/ollama:latest
    ports:
      - "127.0.0.1:11434:11434"
    volumes:
      - modelle:/root/.ollama
    restart: unless-stopped

volumes:
  modelle:

Das benannte Volume modelle hält die Daten außerhalb der beschreibbaren Container-Schicht. Laut Docker-Dokumentation zu Volumes können die Daten dadurch einen Containerwechsel überstehen. Das Volume ist trotzdem kein Backup: Eine gezielte Volume-Löschung oder ein Defekt des Hosts kann weiterhin Daten kosten.

Die Portbindung veröffentlicht den Dienst auf der Loopback-Adresse des Hosts. Das ist für einen lokalen Einstieg sinnvoller als eine Freigabe auf allen Netzwerkschnittstellen. Docker beschreibt Ausnahmen für ältere Versionen vor 28.0.0 und besondere Routing-Konfigurationen. Prüfe daher auch Docker-Version und Netzwerkaufbau. Bei einem Konflikt hilft die Anleitung zum Ollama-Port, die zuständige Instanz und die passende Clientadresse zu prüfen.

latest ist hier ein beweglicher Einstiegstag. Für einen dauerhaft betriebenen Dienst dokumentierst du die tatsächlich verwendete Version und fixierst nach deinem Test einen passenden Image-Tag oder Digest.

Modell starten und Verbindung kontrollieren

Starte den Dienst aus dem Ordner mit deiner Compose-Datei:

docker compose up -d
docker compose ps
docker compose logs --tail=50 ollama

Der Status zeigt, ob der Container läuft. Die Logs helfen, Startprobleme zu erkennen. Erst danach prüfst du die Modellverwaltung im Container: Für die spätere Bereinigung des Bestands zeigt Ollama-Modelle löschen, wie du einzelne gespeicherte Modelle gezielt entfernst.

docker compose exec ollama ollama ls

Für einen ersten Modellaufruf kannst du beispielsweise das in der Ollama-Dokumentation verwendete Modell starten:

docker compose exec ollama ollama run llama3.2

Beim ersten Bezug werden Modelldaten heruntergeladen. Verwende ein Modell, dessen Ressourcenbedarf und Lizenz zu deinem Vorhaben passen. Eine gestartete Containerinstanz beweist noch nicht, dass ein großes Modell auf dem verfügbaren Speicher zuverlässig läuft.

NVIDIA oder AMD ergänzen

Für NVIDIA dokumentiert Ollama das NVIDIA Container Toolkit und die Freigabe der GPU beim Containerstart. Prüfe zuerst, ob die Grafikkarte auf dem Host funktioniert. Erst dann ist die Weitergabe an Docker der nächste Schritt. Die bloße Installation eines anderen Images behebt keinen fehlenden Hosttreiber.

Für AMD nennt die Herstellerdokumentation unter anderem das Image mit dem Tag rocm und die Geräte /dev/kfd sowie /dev/dri. Ob das zu deiner konkreten Karte und deinem Betriebssystem passt, musst du anhand der aktuellen Kompatibilitätsangaben prüfen. Die Dokumentation beschreibt inzwischen auch einen Vulkan-Zugang; vermische diese Varianten nicht unbemerkt.

Die hier gezeigte Compose-Datei enthält bewusst keine GPU-Zuweisung. Ergänze die passende Variante erst nach der Hardwareprüfung und kontrolliere anschließend die tatsächliche Nutzung. Aus einer erfolgreich gestarteten GPU-Konfiguration folgt noch kein bestimmter Geschwindigkeitsgewinn. Unser separater Laptop-Test mit Ollama dokumentiert nativen Betrieb und ist deshalb kein Docker- oder Container-GPU-Benchmark.

Betrieb und Fehler eingrenzen

Port bereits belegt: Möglicherweise läuft schon eine native Ollama-Installation. Prüfe den vorhandenen Dienst, bevor du einen zweiten auf demselben Host-Port startest. Auf Ubuntu hilft Ollama auf Ubuntu als Dienst, Installation, Serverstart und Modell getrennt vom Containerweg zu prüfen.

Modelle scheinbar verschwunden: Prüfe, ob du noch dasselbe Compose-Projekt und Volume verwendest. Ein anderer Projektordner oder Projektname kann zu einem anderen Volume führen. Lade nicht sofort alles neu herunter, solange der tatsächliche Datenbestand unklar ist.

Update geplant: Sichere Konfiguration und benötigte Daten, notiere die bisherige Image-Version und prüfe die neue Version zunächst mit deinen üblichen Aufgaben. Ein kontrollierter Containerwechsel ist etwas anderes als das Löschen der Modelldaten.

Daten behalten: Nutze docker compose down -v nicht als gewöhnlichen Neustart. Die Option zur Volume-Entfernung kann auch den hier angelegten Modellbestand beseitigen. Zum normalen Stoppen genügt docker compose stop; zum erneuten Starten docker compose start.

Container, Host-API und Modellbestand getrennt prüfen

Ein laufender Container, eine erreichbare API und ein nutzbares Modell sind drei getrennte Befunde. Prüfe sie nacheinander aus dem Ordner mit der Compose-Datei. ollama ist hier der Service-Name aus dem Beispiel; bei einer anders benannten Konfiguration passt du ihn an.

docker compose ps --all ollama
docker compose exec ollama ollama ls
curl -i http://127.0.0.1:11434/api/tags

Der letzte Aufruf wird auf dem Docker-Host ausgeführt. Unter Windows PowerShell verwendest du gegebenenfalls curl.exe. Auf deinem Laptop meint 127.0.0.1 den Laptop, nicht einen entfernten Server. Die Abfrage /api/tags listet verfügbare Modelle; sie erzeugt keine Modellantwort.

Halte die Befunde getrennt fest. Lade bei einer unerwartet leeren Liste nicht sofort den gesamten Bestand erneut herunter und lösche kein Volume zur Fehlersuche. Erst wenn Dienst, Zieladresse und gewünschter Modellbestand zusammenpassen, folgt der kleine Modellaufruf aus dem Startabschnitt.

Drei-Stufen-Prüfprotokoll herunterladen ↓