O Que São Tokens em IA (2026): Guia Completo para LLMs como GPT e Claude

Token é a moeda e o limite de tudo em IA generativa. Tudo que você envia pro modelo — prompt, histórico de conversa, documento anexo — vira tokens. Tudo que o modelo responde conta como tokens. O preço de qualquer API é cobrado por token. O limite de quanto cabe em uma request é medido em tokens. Entender essa unidade é a base para usar IA de forma consciente, tanto em custo quanto em qualidade.

Este guia cobre o que tokens são, como o modelo chega neles (tokenização), quanto cada um custa nos principais providers, como contar antes de enviar e as estratégias que reduzem consumo em 50–80% sem perder qualidade de saída.

O que é um token, na prática

Token é a menor unidade de texto que o modelo processa. Pode ser uma palavra inteira, parte de uma palavra, um caractere, pontuação ou espaço. O modelo não vê letras ou palavras como humanos — vê sequências de tokens numéricos.

Por que dividir em tokens em vez de palavras ou letras

Três razões técnicas:

• Vocabulário finito: o modelo opera com vocabulário de ~50–100 mil tokens. Palavras seria vocabulário infinito (novas palavras aparecem todo dia). Letras seria ineficiente (frases de 200+ letras).
• Compressão: palavras comuns como “the”, “de”, “um” viram 1 token. Palavras raras são quebradas em subpalavras.
• Generalização: se o modelo nunca viu “tokenização”, ele quebra em “tok” + “enização” e reconhece os pedaços.

Como o tokenizador é construído: BPE

O algoritmo mais comum é Byte Pair Encoding (BPE). Processo simplificado:

1. Começa com vocabulário de caracteres individuais.
2. Percorre o corpus de treino contando pares adjacentes de tokens.
3. O par mais frequente é juntado em um novo token.
4. Repete até o vocabulário atingir o tamanho desejado (ex.: 100k tokens).

O resultado: palavras comuns no corpus (inglês em volume absurdo, português muito menos) ganham tokens dedicados; palavras raras são montadas a partir de subpalavras. Isso é a razão de textos em inglês geralmente gastarem menos tokens que textos em português para a mesma quantidade de palavras.

Diferenças entre tokenizadores de cada modelo

Custo por token dos principais modelos (2026)

Os valores mudam rápido. Sempre confira a página de pricing oficial antes de estimar custos em aplicação de produção.

Context window: o limite por request

Cada modelo tem um teto de tokens por request — somando input e output.

Como contar tokens antes de enviar

Python com tiktoken (GPT)

JavaScript com js-tiktoken

Claude via API

Calculando custo de uma aplicação real

Imagine um chatbot de atendimento. Por conversa média:

• System prompt: ~300 tokens.
• Histórico de 10 turns: ~1500 tokens.
• Resposta do modelo: ~200 tokens.
• Total por interação: ~2000 tokens.

Com 10.000 interações/dia em Claude Sonnet:

Estratégias para reduzir consumo sem perder qualidade

1. Prompt caching

Disponível em Claude e OpenAI. Partes repetidas do prompt (instruções, exemplos, docs) são guardadas em cache e cobradas 10x mais barato em chamadas seguintes. Ideal para aplicações com system prompt longo e fixo.

2. Modelo certo para cada tarefa

Não use Opus/Pro para tudo. Separe complexidade em camadas:

• Haiku/Flash: extração simples, classificação, formatação.
• Sonnet/Pro: raciocínio intermediário, geração de conteúdo.
• Opus/thinking: análise profunda, compliance, casos críticos.

3. Limpeza de histórico

Em chatbots, raramente a mensagem 50 do histórico ajuda. Mantenha últimos 5–10 turns ou use resumos rotativos.

4. Output estruturado compacto

JSON com nomes curtos gasta menos tokens que prose explicada. {"r":"ok"} é mais barato que “A operação foi concluída com sucesso”.

5. RAG em vez de contexto inflado

Em vez de enviar 100 páginas de documentação a cada request, indexe em vector DB e busque só os trechos relevantes. Dropa 90% do input e mantém a qualidade de resposta.

Erros clássicos em consumo de tokens

• Não truncar histórico: conversa longa cresce exponencialmente em custo.
• Enviar documento completo quando um trecho basta: uso para resumo/análise deveria usar RAG.
• Pedir output longo desnecessário: “em detalhes”, “explique passo a passo” aumenta output (mais caro).
• Usar modelo grande para tarefa trivial: classificar sentimento de 2 palavras em Opus é desperdício de ordem de grandeza.
• Retry agressivo sem lógica: erro da API que vira 10 retries paga 10 vezes.
• Logar todo o prompt e resposta sem amostragem: ocupa espaço e, dependendo do setup, paga por armazenamento.

Token limits vs latência

Mais tokens = mais tempo de geração. Em modelos rápidos (Haiku 4.5, Flash 2.5), cada token de output leva ~5–15ms. Em modelos grandes (Opus, thinking), 20–50ms. Gerar 1000 tokens em Opus pode levar 30–50 segundos — inviável em UX de chat em tempo real.

Para interações em tempo real, use streaming: o modelo devolve tokens conforme gera, reduzindo tempo até primeira resposta visível (TTFT) de segundos para ms.

Tokens em imagens, áudio e vídeo

Modelos multimodais (GPT-5, Claude Sonnet 4.6, Gemini 2.5 Pro) aceitam imagens, áudio e vídeo — tudo convertido em tokens para processamento.

• Imagem: uma foto de resolução média consome 250–2000 tokens no GPT-5 (depende do “detail” escolhido).
• Áudio: em Whisper / Gemini, transcrição vira tokens baseados na duração (~150 tokens por minuto).
• Vídeo: Gemini processa vídeo amostrando frames, cada um vira tokens equivalentes a imagem.

Cache em prompts: o grande economizador

Anthropic introduziu prompt caching em 2024. OpenAI seguiu em 2025. Funciona assim:

1. Você marca parte do prompt como cacheable (ex.: system prompt + docs fixos).
2. Na primeira chamada, você paga o preço normal do input + ~25% extra para cachear.
3. Em chamadas seguintes (dentro de 5 minutos), a parte cacheada custa 10% do preço normal.

Em aplicação com system prompt de 5000 tokens e 100 requests/hora, o savings chega a 80% no custo de input.

Tokens em uma frase

Tokens são a moeda, o limite e o gargalo da IA generativa. Entender como são gerados, quanto custam e como reduzir consumo é a diferença entre uma aplicação financeiramente viável e uma que queima dinheiro. A regra de ouro: meça antes de otimizar, otimize o que paga, e use o modelo adequado para cada tarefa — não o maior possível.