Счётчик токенов

Счетчик токенов оценивает, как модели ИИ разбивают текст на единицы обработки. Токен не всегда равен слову или символу: это может быть целое слово, часть слова, знак пунктуации, особая обработка пробела или отдельный символ в некоторых языках. Подсчет важен для лимитов контекста, оценки стоимости, проектирования промптов, разбиения RAG-фрагментов, управления историей чата и проверки, поместится ли ввод в запрос. Разные семейства моделей используют разные токенизаторы, поэтому число зависит от модели. Инструмент помогает заранее сократить, разделить или структурировать текст, но окончательный лимит нужно сверять с конкретной моделью. При совместном использовании нужно заранее прояснить входные данные, допущения и ожидаемый результат, чтобы вывод не поняли неверно.

Современные токенизаторы LLM используют субсловесные алгоритмы — преимущественно Byte Pair Encoding (BPE) и SentencePiece — вместо разбиения по пробелам. BPE начинается с отдельных байтов и итеративно объединяет наиболее частотные соседние пары, формируя фиксированный словарь, обычно содержащий от 32 до 200 тысяч символов. Распространённые слова становятся одним токеном, редкие слова разбиваются на несколько субслов, а произвольные байты (эмодзи, управляющие символы) по-прежнему кодируются безопасно, поскольку алфавит покрывает все 256 байтов. SentencePiece (используется в вариантах Llama, Mistral, Gemini) обрабатывает пробел как обычный символ с помощью маркера `▁`, поэтому начальные пробелы становятся частью следующего токена — именно поэтому ` hello` и `hello` обычно имеют разные идентификаторы токенов. OpenAI публикует три основных BPE-словаря через библиотеку `tiktoken`: `p50k_base` (50 281 токенов, GPT-3 / Codex), `cl100k_base` (100 277 токенов, GPT-3.5 Turbo и GPT-4) и `o200k_base` (~200 тыс. токенов, GPT-4o и o1), который расширяет покрытие неанглийских языков и сокращает количество токенов для китайского/японского примерно в 1,4–1,7 раза. Claude использует родственный, но проприетарный токенизатор со схожим масштабом словаря. В качестве ориентировочных коэффициентов: английский текст в среднем даёт ~4 символа на токен, китайский — ~1,5–2 символа на токен в cl100k_base и ~2 в o200k_base, а один эмодзи часто занимает 2–5 токенов, поскольку кодируется несколькими байтами UTF-8. Количество токенов определяет использование контекстного окна и стоимость. Текущие окна включают GPT-4o 128k, Claude 3.5 Sonnet 200k и Gemini 1.5 Pro 2M; стоимость рассчитывается как `количество токенов × цена за 1 млн`, при этом входные и выходные токены тарифицируются отдельно (например, GPT-4o — $2,50/$10,00 за 1 млн, Claude 3.5 Sonnet — $3,00/$15,00). Этот счётчик использует эвристические коэффициенты для каждого семейства, поскольку включение файла словаря каждого токенизатора добавило бы мегабайты к объёму загрузки, поэтому результат является рабочей оценкой — авторитетным числом является поле `usage` в ответе API модели.

• BPE объединяет частотные пары байтов в фиксированный словарь; словари OpenAI: `cl100k_base` (GPT-4/3.5), `o200k_base` (GPT-4o/o1), `p50k_base` (Codex).
• SentencePiece кодирует начальные пробелы как `▁`, поэтому ` world` и `world` отображаются на разные идентификаторы токенов в Llama/Mistral/Gemini.
• Эвристика для английского ≈ 4 символа/токен; для CJK ≈ 1,5–2 символа/токен в cl100k_base, ≈ 2 в o200k_base; эмодзи обычно по 2–5 токенов каждый.
• Формула стоимости: `(входные_токены / 1_000_000) × цена_входа + (выходные_токены / 1_000_000) × цена_выхода`, входные и выходные тарифицируются отдельно.
• Контекстные окна в 2025 году: GPT-4o 128k, GPT-4 Turbo 128k, Claude 3.5 Sonnet 200k, Gemini 1.5 Pro 2M, DeepSeek V3 128k.
• Один и тот же текст даёт разное количество токенов у разных вендоров: словарь токенизатора, правила резервного кодирования байтов и обработка пробелов различаются.
• Авторитетным является количество токенов из ответа API: `usage.prompt_tokens` / `usage.completion_tokens` (OpenAI) или `usage.input_tokens` / `usage.output_tokens` (Anthropic).