Contador de Tokens

O contador de tokens estima como modelos de IA dividem um texto em unidades de processamento. Um token não é sempre uma palavra ou caractere; pode ser uma palavra inteira, parte de uma palavra, pontuação, comportamento de espaços ou um caractere isolado em alguns idiomas. A contagem importa para limites de contexto, estimativa de custos, desenho de prompts, divisão em RAG, gestão de histórico e decisão sobre caber em uma requisição. Famílias de modelos usam tokenizadores diferentes, então o número depende do modelo. A ferramenta ajuda a cortar, dividir ou estruturar texto antes do envio, mas o limite final deve ser conferido no modelo real.

Os tokenizadores de LLM modernos usam algoritmos de subpalavras — principalmente Byte Pair Encoding (BPE) e SentencePiece — em vez de dividir por espaços em branco. O BPE parte de bytes individualmente e mescla iterativamente o par adjacente mais frequente, produzindo um vocabulário fixo de tipicamente 32k a 200k símbolos. Palavras comuns se tornam um único token, palavras raras se dividem em vários subwords, e bytes arbitrários (emoji, caracteres de controle) ainda são codificados com segurança porque o alfabeto cobre todos os 256 bytes. O SentencePiece (usado por variantes do Llama, Mistral, Gemini) trata espaços em branco como um caractere regular através do marcador `▁`, então espaços iniciais se tornam parte do próximo token, é por isso que ` hello` e `hello` geralmente têm IDs de token diferentes. A OpenAI publica três principais vocabulários BPE através da biblioteca `tiktoken`: `p50k_base` (50.281 tokens, GPT-3 / Codex), `cl100k_base` (100.277 tokens, GPT-3.5 Turbo e GPT-4), e `o200k_base` (~200k tokens, GPT-4o e o1) que adiciona cobertura não inglesa e reduz contagens de tokens em chinês/japonês em aproximadamente 1,4-1,7×. O Claude usa um tokenizador relacionado mas proprietário com uma escala de vocabulário semelhante. Como proporções aproximadas de trabalho, texto em inglês tem em média ~4 caracteres por token, chinês ~1,5-2 caracteres por token no cl100k_base e ~2 no o200k_base, e um único emoji frequentemente consome 2-5 tokens porque é codificado como múltiplos bytes UTF-8. A contagem de tokens impulsiona tanto o uso da janela de contexto quanto o custo. As janelas atuais incluem GPT-4o 128k, Claude 3.5 Sonnet 200k e Gemini 1.5 Pro 2M; o custo é cobrado como `tokens × preço_por_1M`, com entrada e saída precificadas separadamente (ex.: GPT-4o a $2,50/$10,00 por 1M, Claude 3.5 Sonnet a $3,00/$15,00). Este contador usa coeficientes heurísticos por família porque enviar o arquivo de vocabulário de cada tokenizador seriam megabytes de payload, então o resultado é uma estimativa de trabalho — o número autoritativo é o campo `usage` da resposta da API do modelo.

• BPE mescla pares de bytes frequentes em um vocabulário fixo; vocabulários OpenAI são `cl100k_base` (GPT-4/3.5), `o200k_base` (GPT-4o/o1), `p50k_base` (Codex).
• O SentencePiece codifica espaços iniciais como `▁`, então ` world` e `world` mapeiam para IDs de token diferentes no Llama/Mistral/Gemini.
• Heurística inglesa ≈ 4 caracteres/token; CJK ≈ 1,5-2 caracteres/token no cl100k_base, ≈ 2 no o200k_base; emoji tipicamente 2-5 tokens cada.
• Fórmula de custo: `(tokens_entrada / 1.000.000) × preço_entrada + (tokens_saída / 1.000.000) × preço_saída`, com entrada e saída precificadas separadamente.
• Janelas de contexto em 2025: GPT-4o 128k, GPT-4 Turbo 128k, Claude 3.5 Sonnet 200k, Gemini 1.5 Pro 2M, DeepSeek V3 128k.
• O mesmo texto gera contagens de tokens diferentes entre fornecedores: vocabulário do tokenizador, regras de byte-fallback e tratamento de espaços em branco diferem.
• A contagem autoritativa é o `usage.prompt_tokens` / `usage.completion_tokens` (OpenAI) ou `usage.input_tokens` / `usage.output_tokens` (Anthropic) da resposta da API.