Abertura

A Júlia montou um chat sobre os manuais internos da empresa. São quarenta.

Por segurança, o código dela cola os quarenta manuais em toda pergunta. Funciona. Mas toda resposta é lenta, e a conta do mês veio dez vezes acima da previsão.

E tem algo pior. Quando a resposta está no manual vinte e três, às vezes o bot diz que não encontrou nada.

Dois conceitos explicam os dois problemas: tokens e janela de contexto.

No fim desta aula, você vai saber fazer a conta de qualquer desenho antes de ir para produção. E vai entender por que caber na janela não é o mesmo que funcionar.

A ideia

O modelo não lê letras nem palavras. Ele lê tokens, pedaços de texto cortados por um tokenizador. Uma palavra comum em inglês costuma ser um token. Palavras longas, acentuadas ou raras viram vários.

Tokens importam por três motivos. Preço, porque você paga por cada token que entra e cada token que sai. E a saída costuma custar mais.

Tempo, porque o modelo escreve um token de cada vez. Resposta longa é resposta lenta.

E o limite, porque tudo o que entra e sai precisa caber num espaço só, a janela de contexto.

Um detalhe que surpreende. Nem todo texto custa igual. Uma pergunta em português costuma virar mais tokens que a mesma pergunta em inglês. Código cheio de símbolo, XML de nota fiscal e dados com nomes de campo repetidos incham ainda mais. Se o seu produto fala português e cola esses arquivos, a estimativa que você fez de cabeça está baixa.

Como funciona

A janela de contexto é o total de tokens que o modelo vê numa chamada. Vamos ver o que tem lá dentro.

O prompt de sistema entra em toda chamada. Mil tokens a mais aqui são mil tokens a mais em cada mensagem.

Cada ferramenta que você oferece também ocupa espaço, com nome, descrição e schema.

O histórico cresce a cada turno. O modelo não tem memória, então você reenvia tudo.

Documentos e resultados de ferramentas costumam ser a maior parte.

A pergunta do usuário costuma ser a menor.

E a resposta também ocupa a janela, com um limite próprio, separado.

Esses dois limites vivem sendo confundidos. A janela é o teto da chamada inteira. O limite de saída, chamado max tokens, é o teto só da resposta.

Digamos que a janela tem duzentos mil tokens e você já mandou cento e noventa e oito mil de entrada. A resposta fica com uns dois mil, no máximo, mesmo que o limite de saída peça oito mil. A maioria das APIs recusa a chamada quando a soma não cabe. E alguns frameworks, para caber, apagam em silêncio as mensagens mais antigas.

Um caso real

De volta à Júlia, com números ilustrativos. Digamos que cada manual tem uns quatro mil tokens.

Colar os quarenta manda uns cento e sessenta mil tokens de entrada em cada pergunta. A pergunta dela é uma fração minúscula disso. E ela paga tudo, em toda mensagem, mesmo quando a resposta está em três parágrafos.

Agora busque só três trechos relevantes, de quinhentos tokens cada. São uns dois mil tokens, mais o prompt de sistema. A pergunta disputa espaço com muito menos ruído, e o preço cai junto com o tamanho.

Mas isso é só a conta. Lembra do manual 23? As janelas ficaram enormes. Isso não quer dizer que o modelo usa bem tudo o que está nelas.

Tem um artigo de 2023 chamado Lost in the Middle. Ele mostrou que os modelos tendem a usar melhor o que está no começo e no fim da entrada do que o que está no meio. Os modelos mais novos melhoraram nisso. Mas o princípio vale: todo token irrelevante disputa a atenção do modelo com os relevantes.

Por isso o chat da Júlia falhava no manual vinte e três. A informação estava na janela. Só estava afogada entre trinta e nove outros manuais, bem no meio.

Um desafio

Uma pergunta para você. O time da Júlia troca para um modelo com uma janela bem maior, duzentos mil tokens em vez de trinta e dois mil. E cola os quarenta manuais de novo. A conta continua alta, e o manual vinte e três ainda some de vez em quando. O que a janela maior resolveu?

Nenhum dos dois. Você continua pagando por cada token que manda. E o meio da entrada continua em desvantagem. Janela maior é folga, não estratégia. A correção é escolher trechos, não pedir mais espaço.

O erro comum

A armadilha de quem está começando é tratar janela grande como motivo para não escolher. Cabe vira o único critério.

A pergunta certa é outra. O que precisa estar aqui para esta pergunta, e o que só está ocupando espaço?

Aqui vai uma versão que você vai encontrar na vida real. No turno um, alguém cola um documento de vinte páginas no chat. No turno quinze, pergunta o endereço da loja. E o seu código continua reenviando aquele documento, a cada turno, doze turnos depois de alguém precisar dele. Histórico não é arquivo obrigatório. Mande o que a pergunta precisa, e resuma ou descarte o resto.

Faça a conta

Agora, o hábito que evita surpresas. Conte os tokens antes de mandar. A API do provedor tem um endpoint só para isso, que não gera resposta e usa o mesmo tokenizador do modelo.

Depois, faça a conta do mês. Tokens de entrada, vezes mensagens por dia, vezes trinta. Some a saída média. Multiplique pelo preço do modelo por milhão de tokens. Esse número costuma assustar. E é muito melhor se assustar antes de produção.

Vamos fazer uma juntos. Você mediu oito mil tokens de entrada por pergunta, dez mil perguntas por dia. O time quer só adicionar a política de férias, mais seis mil tokens, em toda chamada.

Antes, são oitenta milhões de tokens de entrada por dia.

Depois, cento e quarenta milhões. A entrada diária quase dobra, e a política vai de carona em perguntas que não têm nada a ver com férias.

E não estime dividindo caracteres por quatro. Essa regra às vezes funciona para inglês simples. Para português, código e dados estruturados, ela conta a menos. Meça alguns exemplos reais com o contador do provedor.

Em produção

Então, o que muda nos seus desenhos? Mandar menos e melhor vence mandar tudo. É o que a busca faz, em vez de colar manuais inteiros.

O prompt de sistema precisa de dieta. Quando cresce sem controle, vira um smell chamado prompt bloat.

Conversas longas apodrecem. Histórico velho confunde o modelo e aumenta o custo. Esse se chama context rot.

E as partes fixas do começo da entrada podem ser reaproveitadas entre chamadas com cache de prompt, que corta custo e latência. Só não use o cache como desculpa para colar um arquivo inteiro que a pergunta não precisa.

Fechamento

Então, a ideia para guardar. A janela é um orçamento, não um depósito. Cada token que você coloca ali custa dinheiro, custa tempo e disputa atenção. A conta de tokens é a primeira coisa a fazer em qualquer desenho.

Na próxima aula, a gente abre aquele sorteio dentro do modelo: amostragem e temperatura, e o que elas controlam de verdade. Até lá.