Unterscheide die Zeit bis zum ersten Token, die Gesamtdauer einer Antwort und den Durchsatz unter Last. Halte Modellversion, Kontext, Eingabe, Ausgabe und Parallelität fest. Ein Serverwert für die Generierung ist nicht automatisch die Wartezeit deiner gesamten Anwendung.
Anfang und Ende der Messung festlegen
Für einen Chat ist oft entscheidend, wann die erste lesbare Ausgabe erscheint. Für einen Hintergrundauftrag kann dagegen zählen, wann das vollständige Ergebnis vorliegt. Schreibe den Start- und Endpunkt auf, bevor du zwei Konfigurationen vergleichst.
Die NVIDIA-Dokumentation zum Inferenzbenchmarking unterscheidet Warteschlange, Verarbeitung der Eingabe und schrittweise Ausgabe. Sie trennt außerdem kontrollierte Performancebenchmarks von Lasttests einer Anwendung. Eine schnellere Einzelantwort belegt deshalb noch nicht, dass ein System viele gleichzeitige Nutzer gut bedient.
Bei Streaming siehst du Teile der Antwort früher. Daraus folgt nicht, dass die vollständige Aufgabe früher abgeschlossen ist. Notiere, ob du die erste Ausgabe, das letzte Token oder eine nachgelagerte Verarbeitung misst.
Kennzahlen mit ihrer Definition lesen
| Kennzahl | Frage | Wichtige Grenze |
|---|---|---|
| TTFT | Wie lange bis zum ersten ausgegebenen Token? | Enthält je nach Messweg auch Warteschlange und Netzwerk |
| Ende-zu-Ende-Latenz | Wie lange bis zur vollständigen Antwort? | Start- und Endpunkt müssen vergleichbar sein |
| Inter-Token-Latenz | Wie viel Zeit liegt zwischen aufeinanderfolgenden Tokens? | Werkzeuge können das erste Token unterschiedlich behandeln |
| Systemdurchsatz | Wie viele Ausgabetokens oder Anfragen verarbeitet das System? | Nur mit dokumentierter Last und Messdauer interpretieren |
Diese Begriffe folgen der NVIDIA-Metrikreferenz. Ein hoher Systemdurchsatz kann mit längerer Wartezeit einer einzelnen Anfrage einhergehen. Vergleiche deshalb die für deinen Fall relevante Kennzahl und ihre genaue Berechnung.
Für Ollama nennt die Generate-API getrennte Felder für Gesamtdauer, Modellladezeit, Eingabeauswertung und Ausgabetokens. Diese serverseitigen Angaben ergänzen eine Beobachtung deiner Anwendung. Sie ersetzen sie nicht. Beschrifte einen daraus errechneten Wert ausdrücklich mit seinen verwendeten Feldern.
Speicher und tatsächlichen Betriebsweg mitprüfen
Ein Modell benötigt Speicher für Gewichte und Laufzeitdaten. Die Ollama-Dokumentation zur Kontextlänge weist darauf hin, dass ein größerer Kontext mehr Speicher benötigt. Sie zeigt außerdem, wie sich die Aufteilung zwischen CPU und GPU kontrollieren lässt.
Vor einem Hardwarevergleich solltest du den Speicherbedarf lokaler KI einordnen und die tatsächliche GPU-Nutzung prüfen. Gleicher Modellname bedeutet noch nicht gleiche Variante, Quantisierung oder Konfiguration. Ein ausgelagerter Teil des Modells kann den Betriebsweg verändern.
Ändere für einen nachvollziehbaren Vergleich einen Faktor. Dokumentiere neben dem Rechner auch Modellkennung, verwendete Laufzeit und Kontext. Eine rein gefühlte Verbesserung nach mehreren gleichzeitigen Änderungen lässt sich keinem einzelnen Faktor sicher zuordnen.
Ein kleines Messprotokoll vorbereiten
Wähle eine Aufgabe mit einem prüfbaren Ergebnis und halte die Eingabe konstant. Lege fest, wie du den ersten Aufruf mit möglicher Ladezeit und weitere Aufrufe bei bereits geladenem Modell getrennt erfasst. Notiere die tatsächlichen Ausgabetokens und gleichzeitigen Anfragen.
Die folgende Vorlage enthält bewusst keine ausgefüllten Ergebnisse. Sie ist ein eigener Vorschlag für deine Messung. Wiederholungen, Fehlerfälle und abweichende Antworten bleiben sichtbar; eine einzelne besonders schnelle Antwort wird nicht zum allgemeinen Leistungswert.
Datum / Laufzeitversion: ...
Modell / Variante / Quantisierung: ...
Kontext / Eingabetokens: ...
Ausgabetokens / Ausgabegrenze: ...
Gleichzeitige Anfragen: ...
Messbeginn / Messende: ...
Erster Aufruf oder Modell bereits geladen: ...
Erstes Token / Gesamtdauer / Fehler: ...
Ergebnis fachlich brauchbar: ...Wenn du den Kontext veränderst, dokumentiere den tatsächlich zugewiesenen Wert. Wie du das Ollama-Kontextfenster kontrollieren kannst, zeigt der separate Guide. Verwende für Vergleichsläufe dieselben nachvollziehbaren Bedingungen.
Aus der Messung eine begrenzte Entscheidung ableiten
Ein brauchbares Fazit benennt Aufgabe, Bedingungen und beobachtetes Ergebnis: „Für unseren dokumentierten Eingabetext bei dieser Parallelität war die erste Ausgabe früher sichtbar.“ Eine allgemeine Behauptung über die schnellste KI wäre durch diesen kleinen Versuch nicht gedeckt.
Bewerte die Antwortqualität getrennt. Ein zügig erzeugtes, falsches Ergebnis erfüllt die Aufgabe nicht. Für eine Auswahl gehören deshalb technische Messung, kontrollierte Ergebnisprüfung und betriebliche Anforderungen zusammen. Dieser Artikel enthält keine selbst durchgeführten Hardware- oder Modellmessungen.
Quellen & Methode
Vorgehen und Grenzen
Mit KI-Unterstützung als Dokumentationsguide ausgearbeitet. Vier vollständige thematisch passende Originaldokumente wurden gelesen, nach Beitrag und Grenzen verglichen und im Recherchepaket gesichert. Keine aktuellen Google-Ränge oder Suchmetriken werden behauptet. Beispiele, Vorlagen und Ablaufgrafik sind eigene Erläuterungen. Es wurden keine Modellaufrufe, Installationen, Hardwaremessungen, Interviews oder Unternehmensversuche durchgeführt. Die zuvor öffentlich sichtbare Vorschau wurde am 21. Oktober 2026 durch diese fertige Fassung ersetzt.
Bei Recherche, Texterstellung und Grafiken wird KI eingesetzt. Welche eigenen Versuche vorliegen und was nur als Beispiel dient, beschreibt dieser Beitrag. Unser Redaktionsstandard erklärt die Anforderungen an Belege und Berichtigungen.