Token-Zähler

Der Token-Zähler schätzt, wie ein Text von KI-Modellen in Verarbeitungseinheiten aufgeteilt wird. Ein Token ist nicht einfach ein Wort oder Zeichen: Es kann ein ganzes Wort, ein Wortteil, ein Satzzeichen oder bei manchen Sprachen auch ein einzelnes Zeichen sein. Die Zählung ist wichtig für Kontextfenster, Kostenabschätzung, Prompt-Design, RAG-Snippets, Chatverläufe und die Frage, ob eine Eingabe noch in ein Modell passt. Unterschiedliche Modellfamilien verwenden unterschiedliche Tokenizer, daher ist das Ergebnis immer modellabhängig. Das Werkzeug hilft, Texte vor dem Senden zu kürzen, aufzuteilen oder gezielt zu strukturieren, ersetzt aber keine finale Prüfung im tatsächlichen API-Modell.

Moderne LLM-Tokenisierer verwenden Subword-Algorithmen — hauptsächlich Byte Pair Encoding (BPE) und SentencePiece — statt einer Trennung an Leerzeichen. BPE startet von einzelnen Bytes und führt iterativ die häufigsten benachbarten Paare zusammen, wodurch ein fester Wortschatz von typischerweise 32k–200k Symbolen entsteht. Häufige Wörter werden zu einzelnen Tokens, seltene Wörter zerfallen in mehrere Subwords, und beliebige Bytes (Emoji, Steuerzeichen) werden dennoch sicher kodiert, da das Alphabet alle 256 Bytes abdeckt. SentencePiece (verwendet von Llama, Mistral, Gemini-Varianten) behandelt Leerzeichen als reguläres Zeichen über den ▁-Marker, sodass führende Leerzeichen zum Teil des nächsten Tokens werden — daher sind ` hello` und `hello` in der Regel unterschiedliche Token-IDs. OpenAI veröffentlicht drei Haupt-BPE-Wortschatze über die tiktoken-Bibliothek: p50k_base (50.281 Tokens, GPT-3 / Codex), cl100k_base (100.277 Tokens, GPT-3.5 Turbo und GPT-4) sowie o200k_base (~200k Tokens, GPT-4o und o1), der die Nicht-Englisch-Abdeckung erweitert und die Token-Anzahl für Chinesisch/Japanisch um etwa das 1,4- bis 1,7-fache reduziert. Claude verwendet einen verwandten, proprietären Tokenisierer mit ähnlicher Wortschatzgröße. Als grobe Richtwerte gilt: Englischer Text durchschnittlich ~4 Zeichen pro Token, Chinesisch ~1,5–2 Zeichen pro Token bei cl100k_base und ~2 bei o200k_base, und ein einzelnes Emoji verbraucht oft 2–5 Tokens, da es als mehrere UTF-8-Bytes kodiert wird. Die Token-Anzahl bestimmt sowohl die Nutzung des Kontextfensters als auch die Kosten. Aktuelle Fenster umfassen GPT-4o 128k, Claude 3.5 Sonnet 200k und Gemini 1.5 Pro 2M; die Abrechnung erfolgt als tokens × Preis pro 1M, wobei Eingabe und Ausgabe separat bepreist werden (z. B. GPT-4o mit 2,50 $/10,00 $ pro 1M, Claude 3.5 Sonnet mit 3,00 $/15,00 $). Dieser Zähler verwendet heuristische Koeffizienten pro Familie, da die Auslieferung jedes Tokenisierer-Wortschatzes Megabytes an Daten bedeuten würde — das Ergebnis ist daher eine Arbeitsschätzung. Die verbindliche Zahl steht im usage-Feld der API-Antwort des Modells.

• BPE führt häufige Byte-Paare zu einem festen Wortschatz zusammen; OpenAI-Wortschatze sind cl100k_base (GPT-4/3.5), o200k_base (GPT-4o/o1), p50k_base (Codex).
• SentencePiece kodiert führende Leerzeichen als ▁, sodass ` world` und `world` in Llama/Mistral/Gemini unterschiedliche Token-IDs ergeben.
• Englisch-Heuristik ca. 4 Zeichen/Token; CJK ca. 1,5–2 Zeichen/Token bei cl100k_base, ca. 2 bei o200k_base; Emoji typischerweise 2–5 Tokens pro Zeichen.
• Kostenformel: (Eingabe-Tokens / 1.000.000) × Eingabe-Preis + (Ausgabe-Tokens / 1.000.000) × Ausgabe-Preis, wobei Eingabe und Ausgabe separat bepreist werden.
• Kontextfenster 2025: GPT-4o 128k, GPT-4 Turbo 128k, Claude 3.5 Sonnet 200k, Gemini 1.5 Pro 2M, DeepSeek V3 128k.
• Derselbe Text ergibt bei verschiedenen Anbietern unterschiedliche Token-Anzahlen: Tokenisierer-Wortschatz, Byte-Fallback-Regeln und Leerzeichenbehandlung unterscheiden sich.
• Verbindliche Zählung ist die API-Antwort usage.prompt_tokens / usage.completion_tokens (OpenAI) bzw. usage.input_tokens / usage.output_tokens (Anthropic).