Ein Token ist eine Einheit, in die ein Tokenizer Text zerlegt. Das kann ein Wortteil, ein Zeichen oder ein ganzes Wort sein. Die Aufteilung hängt vom verwendeten Tokenizer ab; Wortzahl und Tokenzahl sind deshalb nicht austauschbar.
Was ein Token ist – und was nicht
Ein Tokenizer übersetzt Text in eine Folge von Einheiten und Kennungen. Sprachmodelle arbeiten mit diesen Repräsentationen. Im Alltag siehst du die fertigen Wörter und Sätze; die interne Aufteilung muss aber nicht den Wortgrenzen entsprechen.
Microsoft unterscheidet als grundlegende Lehrbeispiele Wort-, Zeichen- und Teilworttokenisierung. Eine Wortaufteilung ist anschaulich, darf aber nicht als tatsächliche Zerlegung jedes aktuellen Modells gelesen werden. Seltene Schreibweisen, Code, Satzzeichen und unterschiedliche Sprachen können zu anderen Aufteilungen führen.
Fraunhofer IESE ordnet Tokenisierung, Embedding, Vorhersage und Dekodierung als unterschiedliche Schritte ein. Die Tokenisierung zerlegt den Text. Ein Embedding stellt Einheiten numerisch dar; die weitere Modellverarbeitung erzeugt daraus nicht automatisch wahre Aussagen.
Hier geht es ausdrücklich um KI-Sprachmodelle. Ein Krypto-Token oder ein Zugangstoken für eine Anmeldung ist etwas anderes.
Ein Satz, tatsächlich in Tokens zerlegt
„Datenschutz braucht klare Regeln.“ hat vier Wörter, aber in unserem Beispiel 10 Tokens. Wir haben den Satz am 27. Oktober 2026 lokal mit dem Tokenizer von Qwen3-0.6B zerlegt. Die Aufteilung lautet:
Datenschutz·braucht·klare·Regeln.Das Zeichen · macht ein Leerzeichen sichtbar. Setzt du die Stücke wieder zusammen, erhältst du den ursprünglichen Satz. Die Wortteile wirken ungewöhnlich, weil der Tokenizer nicht nach den Regeln einer Wortzählung arbeitet.
Diese zehn Tokens gelten für genau diesen Text und diesen festgehaltenen Tokenizer. Sondertokens und die Formatierung einer Chat-Anfrage wurden nicht hinzugefügt. Es wurde kein Sprachmodell ausgeführt und keine API angefragt. Die vollständige Aufteilung mit Token-IDs und Versionsnachweis kannst du als JSON herunterladen.
Zum eigenen Vergleich kopieren
Datenschutz braucht klare Regeln.Für eine API-Anfrage reicht die Zählung des sichtbaren Texts nicht immer. Rollen, Anweisungen, Werkzeugschemas, Bilder oder Dateien können hinzukommen. Verwende dafür die dokumentierte Zählmethode des jeweiligen Anbieters. OpenAI beschreibt eine Zählung für das vollständige unterstützte Anfrageformat; Anthropic weist bei seiner Zählung auf Schätzungen und nicht unterstützte Eingaben hin.
Notiere deshalb Modellversion, Eingabetyp und Zählmethode. Übertrage unseren lokalen Textwert nicht auf andere Tokenizer oder eine vollständige Chat-Anfrage.
Wie viel Platz hat eine Anfrage?
Das Kontextfenster begrenzt den vom Modell berücksichtigten Zusammenhang. Dazu können deine Frage, Anweisungen, vorherige Nachrichten und zusätzlich beigefügtes Material gehören. Wie Eingabe, Ausgabe und internes Reasoning gegen konkrete Limits zählen, ist modell- und zugangsabhängig. Bei lokalem Betrieb erklärt die Speicherplanung für KI-Modelle, warum neben den Gewichten auch der Kontextcache berücksichtigt wird.
| Posten | Annahme |
|---|---|
| Gemeinsames Fenster | 8.192 Tokens |
| Vollständig gezählte Eingabe | 6.100 Tokens |
| Reservierte Ausgabe | 1.500 Tokens |
| Rechnerischer Rest | 8.192 − 6.100 − 1.500 = 592 Tokens |
Die 592 Tokens sind nur das Ergebnis dieser Annahmen. Sie belegen keine reale Modellkapazität. Vergessene Anweisungen oder eine andere Zählweise können das echte Budget verändern. Auch ein ausreichend großes Kontextfenster garantiert nicht, dass das Modell jede enthaltene Angabe korrekt verwendet.
Wenn du lokal arbeitest, kannst du das Kontextfenster in Ollama gezielt prüfen. Ein Wert im Modellprospekt und der tatsächlich aktive Laufzeitwert sind unterschiedliche Dinge.
So rechnest du Tokenkosten aus
Bei tokenbasierter API-Abrechnung können Eingabe und Ausgabe verschiedene Preise haben. Zusätzliche Klassen wie gecachte Eingabe oder weitere Dienstkosten müssen nach dem konkreten Tarif berücksichtigt werden. Eine Chat-Abogebühr ist nicht automatisch dieselbe Abrechnung.
Unsere zweite, getrennte Lernrechnung nimmt fiktive Preise von zwei Euro je Million Eingabetokens und acht Euro je Million Ausgabetokens an. Bei 10.000 Eingabe- und 2.000 Ausgabetokens ergibt sich: 10.000 / 1.000.000 × 2 = 0,020 Euro plus 2.000 / 1.000.000 × 8 = 0,016 Euro, zusammen 0,036 Euro.
Diese Beträge sind kein aktueller Anbietertarif und enthalten keine behauptete Steuer- oder Nebenkostenabrechnung. Der eigene Budget- und Kostenfall als JSON macht alle Annahmen sichtbar.
Eine Rate wie Tokens pro Minute beschreibt wiederum eine Nutzungsgrenze über Zeit. Sie ist nicht dasselbe wie das Kontextfenster einer einzelnen Anfrage oder ein Geldbetrag.
Was kostet deine Anfrage?
Trage gezählte Tokens und deine Preise in Euro je Million Tokens ein. Die Startwerte sind ein fiktives Lernbeispiel, keine aktuellen Anbieterpreise. Berechnet werden ausschließlich Eingabe und Ausgabe.
- Eingabe
- –
- Ausgabe
- –
- Summe für eine Anfrage
- –
Der Rechner zählt keinen Text und fragt keine Modell-API ab. Eingaben bleiben in diesem Browser; es gibt keine Speicherung oder Übertragung durch dieses Modul. Cache-Tarife, zusätzliche Dienste, Steuern und Wechselkurse werden nicht ergänzt.
Was bei Dateien und Thinking hinzukommen kann
Die Zahl der berichteten Ausgabetokens kann größer als die Zahl des sichtbaren Antworttexts sein. OpenAI weist unter anderem auf nicht sichtbare Struktur hin. Bei Reasoning-Modellen können zusätzliche interne Verarbeitung und eigene Modellregeln relevant sein.
Du solltest deshalb internes Reasoning von sichtbarer Erklärung unterscheiden. Die gewünschte Länge einer Erklärung und die technische Nutzungsabrechnung sind keine identischen Größen. Ein knappes Ausgabelimit ist ebenfalls nicht einfach eine feste erlaubte Wortzahl.
Dateien, Bilder und Werkzeuge können den Umfang auf eigene Weise beeinflussen. Prüfe, was der konkrete Zugang verarbeitet und welche Zählmethode diese Eingabe unterstützt. Ein Dateiname oder die Seitenzahl eines PDFs genügt dafür nicht.
Wenn eine Antwort unvollständig bleibt, notiere den tatsächlichen Status und die dokumentierten Limits. Erhöhe nicht blind alle Werte. Zuerst muss klar sein, welche Grenze betroffen war und welche Eingabeteile wirklich nötig sind.
Vor der Anfrage: diese Angaben festhalten
Eigenes Prüfblatt für eine konkrete Anfrage
Modell und genaue Version:
Produkt/API und Datum:
Vollständige Eingabe: Anweisungen, Verlauf, Quellen, Dateien und Tools:
Zählmethode und Ergebnis: exakt im dokumentierten Umfang oder Schätzung?
Kontextregel und gewünschtes Ausgabelimit:
Zusätzliche Tokenklassen und tatsächlicher Tarif:
Beobachtete Nutzung nach der Anfrage:
Abweichung, fehlende Angaben und nächster Prüfschritt:Für die Vorauswahl kannst du dokumentierte Modellversionen und Grenzen nachschlagen. Prüfe vor einer realen Anfrage die aktuelle Originalreferenz. Ein Modellname ohne genaue Version oder Oberfläche macht Vergleiche unnötig unklar.
Überarbeitet am 27. Oktober 2026. Die Tokenisierung oben wurde lokal ausgeführt. Budget und Preise bleiben davon getrennte fiktive Lernrechnungen. Sie sind keine aktuellen Modellgrenzen oder Anbietertarife.
Häufige Fragen
Ist ein Token immer ein Wort?
Nein. Je nach Tokenizer können es Wörter, Wortteile oder Zeichen sein. Derselbe Text kann bei unterschiedlichen Modellen andere Tokenzahlen haben.
Zählt nur meine sichtbare Frage zum Input?
Nicht zwangsläufig. Anweisungen, Verlauf, Tools, Bilder und Dateien können je nach Zugang hinzukommen. Prüfe das vollständige dokumentierte Anfrageformat.
Sind die Preise und Kontextzahlen im Beispiel echte Anbieterwerte?
Nein. Sie sind ausdrücklich fiktive Lernannahmen. Für echte Grenzen und Kosten gelten Modell, Zugang, Tarif und tatsächliche Nutzung.
Sind Tokens pro Minute und Kontextfenster dasselbe?
Nein. Tokens pro Minute sind eine zeitbezogene Nutzungsgrenze. Das Kontextfenster betrifft den Umfang einer einzelnen Modellverarbeitung.
Warum ergeben vier Wörter in eurem Beispiel zehn Tokens?
Der verwendete Tokenizer teilt den Satz in mehrere Wortteile, Leerzeichenbestandteile und das Satzzeichen. Das Ergebnis gilt nur für den genannten Text und die festgehaltene Tokenizer-Version. Es ist keine allgemeine Umrechnung von Wörtern in Tokens.
Was berechnet der Token-Kostenrechner?
Er multipliziert deine Eingabe- und Ausgabetokens mit den von dir eingetragenen Europreisen je Million Tokens und addiert beide Beträge. Die Startpreise sind fiktiv. Das Modul zählt keinen vollständigen API-Request und ergänzt keine Cache-, Dienst- oder Steuerkosten.
Quellen & Methode
Vorgehen und Grenzen
Überarbeitet am 27. Oktober 2026. Die Fachangaben stammen aus den verlinkten Originalquellen. Den Beispielsatz haben wir lokal mit dem festgehaltenen Qwen3-0.6B-Tokenizer zerlegt, ohne Sondertokens oder Chat-Template. Version, Datei-Hash und Ergebnis stehen im Download. Budget und Preise sind getrennte fiktive Lernfälle; es wurde keine Modell-API genutzt. Das Symbolbild wurde mit KI gestaltet, die beschriftete Grafik aus dem protokollierten Ergebnis erstellt.
Bei Recherche, Texterstellung und Grafiken wird KI eingesetzt. Welche eigenen Versuche vorliegen und was nur als Beispiel dient, beschreibt dieser Beitrag. Unser Redaktionsstandard erklärt die Anforderungen an Belege und Berichtigungen.
