llama.cpp nutzen: Vom ersten Modell zur lokalen API

Was llama.cpp macht – und was das Modell macht

llama.cpp ist eine Inferenzimplementierung in C/C++, aufgebaut auf der ggml-Bibliothek. Inferenz bedeutet hier: vorhandene Modellgewichte ausführen. Das Projekt ist nicht ein einziges Modell namens „Llama“. Es unterstützt verschiedene Modellarchitekturen und Hardwarewege; die konkrete Variante muss zur eingesetzten Version passen.

Trenne drei Dinge: Die Gewichtsdatei enthält die Modellparameter. Die Laufzeit lädt und berechnet das Modell. Eine Oberfläche zeigt deine Unterhaltung an. Der aktuelle offizielle Einstieg verbindet diese Ebenen komfortabler als ältere reine Terminalanleitungen: Neben CLI und API gibt es eine App und eine eingebaute Browseroberfläche.

Für eine eigene Textprobe brauchst du deshalb weder einen Cloudchat noch einen API-Schlüssel eines fremden Modellanbieters. Der erste Modelldownload benötigt allerdings eine Quelle im Netz. Spätere zusätzliche Dienste deiner Anwendung haben wiederum eigene Datenwege. „Lokal“ beschreibt den gewählten Ablauf, nicht automatisch jede Funktion auf dem Rechner.

Offiziell installieren und die Version prüfen

Gehe über die offizielle Installationsübersicht. Dort findest du App-Einstieg für Mac und Windows, Paket- beziehungsweise Binarywege, Docker und den Build aus Quellcode. Wähle einen Weg, dessen Voraussetzungen du erfüllst. Ein bereits funktionierender Paketmanager muss nicht durch ein zusätzliches Installationsskript ersetzt werden.

Als aktueller stabiler Release ist in der geprüften GitHub-Quelle v0.7.0 vom 15. Oktober 2026 aufgeführt. Notiere trotzdem die tatsächlich installierte Version: Paketkanäle, App und laufend aktualisierte Dokumentation können unterschiedliche Stände zeigen. Für diesen Artikel wurde keine Installation auf einem Testgerät ausgeführt.

llama cli --version
llama cli --help

Die heutige Dokumentation verwendet llama cli und llama serve. In älteren Anleitungen oder bestimmten Paketen begegnen dir separate Programme wie llama-cli und llama-server. Übertrage Befehle nicht blind zwischen diesen Ständen. Wenn llama nicht gefunden wird, prüfe den gewählten Installationsweg und dessen Programmpfad.

Bevor du große Gewichte lädst, solltest du deinen Rechner für lokale KI prüfen. Speicherbedarf hängt von Modellvariante, Kontext und Laufzeit ab. Eine allgemeine Mindestzahl ersetzt diesen Abgleich nicht.

Eine passende GGUF-Datei laden

GGUF ist ein gebräuchliches Dateiformat für unterstützte Modellgewichte und Metadaten. Das Format allein beweist noch nicht, dass deine Laufzeit jede darin gespeicherte Architektur unterstützt. Prüfe Modellkarte, konkrete Datei, Lizenz, Größe und die zugehörigen Versionsanforderungen. Für die Auswahl des lokalen Modells solltest du Aufgabe, genaue Datei und Lizenz zusammen betrachten.

Der aktuelle Projekt-Quickstart nennt das folgende Hubrepository als Beispiel. Der Aufruf kann Modellgewichte herunterladen und auf dem Rechner zwischenspeichern. Sieh vorab auf der Modellseite nach, welche Variante ausgewählt wird und wie viel Platz sie benötigt. Das ist ein Einstiegsbeispiel, keine Empfehlung als bestes Modell für deine Aufgaben.

llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF

Wenn bereits eine passende Datei vorliegt, kannst du stattdessen llama cli -m ./mein-modell.gguf verwenden. Ersetze den Namen durch deinen wirklichen Pfad. Bei geteilten Dateien müssen alle benötigten Teile zusammenpassen. Eine umbenannte beliebige Datei wird dadurch nicht zu einem kompatiblen Modell.

Die Anleitung GGUF und Quantisierung einordnen erklärt den Unterschied zwischen Format und reduzierter Präzision. Eine kleinere Variante kann den Speicherbedarf verändern; ihre Eignung für dein Ergebnis prüfst du mit einer festen Aufgabe.

Die erste Antwort mit einem kleinen Auftrag prüfen

Beginne mit einer kurzen eigenen Quelle. Unser Beispiel ist fiktiv: „Drei Notizen liegen vor. Zwei sind freigegeben. Ein Termin ist nicht genannt.“ Erwartet werden drei, zwei und eine offen gelassene Terminangabe. Eine flüssige Formulierung allein reicht nicht als Prüfkriterium.

llama cli -m ./mein-modell.gguf -c 4096 -st -p "Quelle: Drei Notizen liegen vor. Zwei sind freigegeben. Ein Termin ist nicht genannt. Aufgabe: Nenne Gesamtzahl, freigegebene Zahl und Termin. Nutze nur die Quelle. Markiere fehlende Angaben als nicht angegeben."

-m wählt deine Datei, -c den hier bewusst begrenzten Kontext und -st einen einzelnen Auftrag. 4096 ist eine Beispielkonfiguration, kein für jedes Modell optimaler Wert. Kontrolliere die unterstützten Optionen über die Hilfe deiner Version.

Vergleiche die Ausgabe mit der Quelle. Wird eine weitere Notiz erfunden? Taucht ein ausgedachtes Datum auf? Halte die konkrete Abweichung fest. Die Probe wurde hier nicht ausgeführt und enthält deshalb keine behauptete Modellantwort oder Erkennungsquote.

Browserchat und lokale API starten

Wenn eine andere Anwendung auf die Laufzeit zugreifen soll, starte einen Server. Die aktuelle Dokumentation nennt als Standard 127.0.0.1:9931. Das folgende eigene Beispiel setzt stattdessen ausdrücklich Port 8090, damit der verwendete Endpunkt eindeutig bleibt. Ist der Port belegt, wähle einen freien und passe alle Clients entsprechend an.

llama serve -m ./mein-modell.gguf -c 4096 --host 127.0.0.1 --port 8090

# Separates Terminal; unter Windows gegebenenfalls curl.exe verwenden.
curl http://127.0.0.1:8090/health
curl http://127.0.0.1:8090/v1/models

Der erste Befehl bleibt während des Serverbetriebs aktiv. Öffne http://127.0.0.1:8090 im Browser für die eingebaute Oberfläche. Laut API-Referenz meldet /health Bereitschaft mit 200 und die Ladephase mit 503. Die Modellliste hilft, die tatsächlich gemeldete ID zu prüfen. Beides ist vom inhaltlichen Antworttest getrennt. Wenn du eine andere Serverlaufzeit prüfen möchtest, zeigt vLLM als Modell-API-Dienst den Aufbau mit getrenntem Modell-, Hardware- und Antwortcheck.

Die Loopbackbindung ist für den Einstieg auf demselben Rechner gedacht. Öffne den Dienst nicht allein zum Beheben eines Verbindungsfehlers auf allen Schnittstellen. Andere Rechner oder Container benötigen ein bewusst eingerichtetes Zugriffs- und Netzkonzept; eine neue Portnummer allein schützt keine API.

Fehler an der richtigen Stelle suchen

Ändere immer nur eine relevante Einstellung und wiederhole dieselbe Probe. Die CLI bietet --list-devices zur Geräteübersicht. Eine dort sichtbare GPU und ein geladener Treiber sind aber noch kein Qualitätstest deiner Aufgabe.

Wenn du vor allem Modellverwaltung und den Betriebsablauf anders organisieren möchtest, kannst du llama.cpp und Ollama vergleichen. Ein Wechsel des Werkzeugs ersetzt weder die Prüfung der Gewichte noch eine klare Ergebniskontrolle.