KI & Modelle / Guide
Ollama mit Docker: Installation, Speicher und GPU
Ollama mit Docker Compose einrichten: Modelle dauerhaft speichern, Portzugriff begrenzen und CPU- oder GPU-Betrieb prüfen. Mit Konfiguration und Fehlersuche.
Praxisprojekt
Einen lokalen KI-Assistenten betreiben
Ein lokales Modell mit reproduzierbarer Konfiguration starten und Grenzen des Datenflusses prüfen.
Ziel
Ein lokales Modell mit reproduzierbarer Konfiguration starten und Grenzen des Datenflusses prüfen.
Was du brauchst
Rechner mit unterstützter Laufzeit; mindestens 10 GB freier Speicher als Download-Puffer. Der tatsächliche Arbeitsspeicher hängt von Modell, Quantisierung, Kontext und Runtime ab.
Kosten und Grenzen
Keine API-Kosten, wenn vollständig lokal; Strom, Speicher und ggf. zusätzliche Hardware sind eigene Kosten.
Schritt für Schritt
- Wähle eine konkrete Gewichtsvariante und lies Lizenz, Modellkarte und Laufzeitunterstützung.
- Installiere die Laufzeit aus der offiziellen Quelle und notiere Version und Betriebssystem.
- Lade ein kleines Modell; dokumentiere exakte Modell-ID und Quantisierung.
- Teste drei harmlose Aufgaben mit identischen Prompts und speichere nur nichtvertrauliche Ausgaben.
- Prüfe Netzwerkverbindungen und die Rolle von UI, Erweiterungen sowie optionalen Zusatzdiensten.
- Vorbereiten
- Umsetzen
- Prüfen
- Dokumentieren
Abnahmekriterium
Ein anderer Nutzer kann Modell-ID, Quantisierung, Laufzeit, Testeingaben und beobachtete Grenzen nachvollziehen.
Quellen und passende Vertiefung
Weiter mit dem passenden Lernpfad, den Modellprofilen und dem Glossar.
Vom Nachlesen zum Anwenden
Dein Training zu diesem Thema.
Praxis im Magazin
Die passende Anleitung dazu.
KI & Modelle / Guide
Ollama-Port 11434: Verbindung prüfen und ändern
Ollama auf Port 11434 prüfen, Portkonflikte zuordnen und OLLAMA_HOST ändern. Mit Beispielen für Windows, macOS, Linux und getrennten Container-Adressen.
Häufige Fragen
Was ist das Ziel von „Einen lokalen KI-Assistenten betreiben“?
Ein lokales Modell mit reproduzierbarer Konfiguration starten und Grenzen des Datenflusses prüfen.
Was brauchst du für den Start?
Rechner mit unterstützter Laufzeit; mindestens 10 GB freier Speicher als Download-Puffer. Der tatsächliche Arbeitsspeicher hängt von Modell, Quantisierung, Kontext und Runtime ab.
Welche Kosten können entstehen?
Keine API-Kosten, wenn vollständig lokal; Strom, Speicher und ggf. zusätzliche Hardware sind eigene Kosten.
Woran erkennst du, dass das Projekt funktioniert?
Ein anderer Nutzer kann Modell-ID, Quantisierung, Laufzeit, Testeingaben und beobachtete Grenzen nachvollziehen.
Wie viele Umsetzungsschritte enthält die Anleitung?
Die Seite führt dich durch 5 dokumentierte Schritte. Prüfe jeden Schritt, bevor du mit dem nächsten fortfährst.