Abertura

O bot de RH da empresa começou com dez linhas. Um tom simpático, duas ou três regras, e só.

Hoje, o prompt de sistema dele está assim. Quarenta parágrafos, uns quatro mil tokens. E tem três coisas que valem a atenção.

Primeiro, a regra de home office aparece duas vezes. Numa, diz três dias por semana.

E mais embaixo, diz dois. Com valores diferentes, e ninguém apagou a antiga.

Segundo, o prompt pede brevidade, bem no fim de um texto de quatro mil tokens.

E terceiro, metade do conteúdo nem é instrução. É conhecimento. A política de férias, a de reembolso. Nesta aula, você vai aprender a reconhecer esse smell, por que ele cresce, quanto custa e como encolher sem quebrar nada.

O diagnóstico

Esse último ponto é a chave do diagnóstico.

Uma instrução diz ao modelo como agir, em qualquer conversa. Seja breve. Nunca fale de salário.

Conhecimento é o assunto de algumas conversas. A política de férias só importa quando alguém pergunta de férias. Mas quando o conhecimento mora no prompt de sistema, ele vai de carona em toda chamada. Inclusive nas que não precisam dele.

Então, como reconhecer? O prompt de sistema passou de alguns milhares de tokens, e só cresce.

Cada bug corrigido virou um parágrafo novo. Nunca a remoção de um antigo.

Algumas regras se contradizem, e ninguém sabe qual vence.

Blocos inteiros de conhecimento estão colados ali. Políticas, catálogos, perguntas frequentes.

E ninguém do time sabe explicar o que cada parágrafo faz. Mudar uma linha muda respostas sobre assuntos que não têm nada a ver.

Por que acontece

Ninguém escreve um prompt inchado de propósito. Ele cresce a partir de decisões razoáveis, uma de cada vez. E cresce em ciclo.

Aparece um caso que o bot trata mal.

A correção mais rápida, às seis da tarde, é acrescentar mais uma instrução. Não faça isso.

O prompt cresce, e cada instrução nova disputa espaço com as antigas.

O modelo segue as regras existentes com um pouco menos de confiança. Bugs novos aparecem. E o ciclo recomeça.

Acrescentar é mais rápido que entender.

Não existe eval. Sem um conjunto de testes, tirar um parágrafo dá medo, porque ninguém sabe o que vai quebrar.

O prompt é o único lugar. Sem índice de busca e sem ferramentas, toda informação acaba ali.

E várias pessoas editam. Cada uma acrescenta a sua regra, sem ler a dos outros.

Quanto custa

Agora, o custo de ignorar. Primeiro o dinheiro, com números ilustrativos. Um prompt de quatro mil tokens, vezes vinte mil mensagens por dia, dá oitenta milhões de tokens de entrada por dia.

A um dólar hipotético por milhão, são uns dois mil e quatrocentos dólares por mês, só pelo prompt. Antes de o usuário digitar uma palavra.

Depois, tempo. Entrada maior quer dizer resposta mais lenta, principalmente até a primeira palavra aparecer.

Depois, qualidade. As instruções disputam a atenção do modelo. Pesquisas mostram que os modelos usam pior o que fica no meio de um contexto longo. Uma regra importante no parágrafo vinte e três de quarenta tende a ser seguida com menos consistência. E regras contraditórias produzem respostas imprevisíveis.

E a velocidade do time. Ninguém quer mexer. Toda mudança vira uma sessão de teste manual, e de torcida.

Um desafio

Uma pergunta para você. Com aquele prompt, um funcionário pergunta quantos dias de home office tem. Às vezes o bot diz três. Às vezes diz dois. Qual é a causa mais provável?

O prompt tem duas regras contraditórias, e o modelo escolhe uma de cada vez. Não é a temperatura. Mesmo em zero, a contradição continuaria lá. E não é que o modelo entendeu errado. A pergunta é simples. O problema está no que o modelo recebe.

A correção é manter cada regra num lugar só. Não pedir para o modelo prestar mais atenção.

O tratamento

São três refatorações, conforme o material do inchaço.

Se o prompt cuida de vários assuntos ou tarefas, extract subprompt. Cada um ganha a sua chamada, muitas vezes atrás de um roteador.

Se o inchaço é regra de estilo e formato, replace rules with examples. Poucos bons exemplos ensinam mais que vinte regras em maiúsculas.

E se o inchaço é conteúdo, como políticas, catálogos e perguntas frequentes, tire do prompt. Esse conteúdo vai para um índice e entra pela busca só quando é relevante.

Aplique as três no bot de RH, e o prompt de sistema encolhe para quatro linhas. Responda a partir dos trechos da política. Se não estiver lá, diga que não sabe e indique o canal de RH. Nunca fale de salário. E responda em no máximo três frases.

Repare que seja breve virou um limite que dá para conferir. No máximo três frases.

As políticas viram documentos num índice, cada um com data de vigência. A regra dos três dias simplesmente some, porque só a versão atual é indexada. E uma pergunta de reembolso traz só o trecho de reembolso.

Mas antes de qualquer coisa, monte um eval com perguntas reais e meça o prompt atual. É isso que dá coragem para apagar parágrafos.

O erro comum aqui é cortar no feeling, num sábado, sem eval. Um parágrafo que parecia inútil pode ser o que segura um caso raro, como a regra dos estagiários. Corte um bloco por vez, rode o eval e só continue se os números se mantiverem.

Quando ignorar

E quando dá para conviver? Num protótipo. Para validar uma ideia em uma semana, um prompt grande e bagunçado pode ser o caminho mais rápido. Só não leve assim para produção.

Volume baixo e conteúdo estável. Uma ferramenta interna usada dez vezes por dia, com uma base que quase não muda, pode viver com um prompt grande. Ligue o cache e siga em frente.

E um prompt que é longo porque tem oito exemplos bem escolhidos não está inchado. Se o acerto é alto e ninguém mexe nele há meses, ele está saudável. O smell é crescimento sem critério, não tamanho.

Uma última armadilha. Alguém liga o cache de prompt, o custo do prompt de oito mil tokens cai bastante, e a pessoa diz que o problema está resolvido. O cache baixa o preço dos tokens repetidos. Mas o modelo continua lendo o prompt inteiro, em toda chamada, com as mesmas contradições e a mesma disputa por atenção.

Fechamento

Então, a ideia para levar. Um prompt de sistema deve dizer como se comportar, não tudo o que o bot um dia pode precisar saber. Cada regra num lugar só, conhecimento num índice, e um eval para apagar com segurança. Um prompt que alguém lê em dois minutos é um prompt que o seu time consegue mudar.

Na próxima aula, a gente tira do texto parte do que o prompt pede e leva para um contrato que o código confere: a saída estruturada. Até lá.