Preparação para entrevista
SmellInchaços

System Prompt Roteador

Routing System Prompt

System Prompt Roteador (Routing System Prompt) é um smell de IA, ou seja, um sinal de problema em sistemas com LLM, do grupo Inchaços. Um único prompt tenta tratar vendas, suporte e financeiro com blocos de SE o usuário pedir X.

Elemento
04/37
Nível
Iniciante
Leitura
4 min
Atualizado
Nesta página 7
  1. 01Como reconhecer
  2. 02Por que acontece
  3. 03Quanto custa ignorar
  4. 04Tratamento
  5. 05O que você ganha
  6. 06Quando ignorar
  7. 07É esse smell?
  8. ··Perguntas rápidas

Como reconhecer

O atendente virtual de uma operadora de telefonia atende vendas, suporte técnico e cobrança no mesmo prompt. Trecho (anonimizado):

Você é a assistente virtual da Operadora.

SE o cliente perguntar sobre planos ou ofertas:
  seja entusiasmada, destaque benefícios, ofereça upgrade
  [800 tokens de regras de vendas]

SE o cliente tiver problema técnico:
  peça o modelo do aparelho, sugira reiniciar
  [1.200 tokens de roteiro técnico]

SE o cliente perguntar sobre fatura:
  seja objetiva, não ofereça produtos, explique cada cobrança
  [900 tokens de regras de cobrança]

Um cliente pergunta por que a fatura veio mais alta. A resposta explica a cobrança e termina com “aproveite para conhecer nosso plano com 50 GB a mais!”. O tom de vendas vazou para a cobrança.

Sinais de System Prompt Roteador:

  • O prompt tem blocos “SE o assunto for X, faça Y” para vários assuntos.
  • Instruções de um assunto aparecem em respostas de outro (tom, ofertas, perguntas).
  • Todo pedido carrega as instruções de todos os assuntos.
  • Times diferentes editam blocos diferentes do mesmo prompt.
  • Uma mudança nas regras de vendas altera respostas de suporte.
flowchart LR
  IN(["1. Pergunta de fatura"]):::io --> P(["2. Prompt com vendas, suporte e cobrança"]):::llm
  P --> OUT(["3. Resposta de cobrança com tom de vendas"]):::io
  1. Um pedido de um assunto só chega.
  2. O modelo recebe as instruções dos três assuntos e precisa decidir quais valem.
  3. Partes das instruções erradas contaminam a resposta.
Checagem +20 XP de primeiraUm cliente pergunta só sobre a fatura. A resposta explica a cobrança e oferece um upgrade. O prompt tem três blocos SE, um por assunto. O que está acontecendo primeiro?

Por que acontece

  • O produto cresceu por assunto. O bot nasceu para vendas; suporte e cobrança entraram depois, cada um como um bloco novo.
  • Um prompt parece mais simples que um roteador e três prompts.
  • O modelo acerta quase sempre. O vazamento é raro o bastante para não parecer urgente.
  • Cada time só olha o seu bloco. Ninguém vê o prompt inteiro como um sistema.

O post “Building effective agents”, da Anthropic (dez. 2024), descreve roteamento como um workflow: um passo classifica, o código escolhe o caminho. Quem deixa essa decisão no texto do prompt está pedindo ao modelo que emule o if.

Quanto custa ignorar

  • Qualidade. Respostas com o tom ou as regras do assunto errado, de forma intermitente e difícil de reproduzir.
  • Custo. Toda chamada paga as instruções de todos os assuntos.
  • Acoplamento. Uma mudança de um time quebra o comportamento de outro.
  • Avaliação. Não dá para medir cada assunto separado, porque tudo passa pelo mesmo prompt.

Uma conta para o vazamento

Os números abaixo são ilustrativos. Os três blocos somam 2.900 tokens de regras. Uma pergunta de fatura precisa só dos 900 de cobrança.

Chamada Tokens de instrução enviados O que deveria ir
Fatura 2.900 900 (cobrança)
Sinal ruim 2.900 1.200 (técnico)
Oferta 2.900 800 (vendas)

Em 10 mil atendimentos por dia, você paga quase 29 milhões de tokens de regra. Com roteador, a média cairia para cerca de 1.000 por chamada, se a mistura de assuntos for parecida. O custo extra é o menor problema. O bloco de vendas fica sentado ao lado da fatura, esperando vazar.

O mesmo desenho aparece no WhatsApp de um banco: Pix, boleto e cartão no mesmo prompt. O cliente pergunta o status de um Pix. A resposta termina sugerindo um empréstimo. Cobrança e produto não deveriam dividir o mesmo bloco de regras.

Tratamento

Refatoração Escolha quando
Introduzir Roteador Sempre que o prompt tem blocos por assunto. Um passo curto classifica o pedido e o código escolhe o prompt especializado. Destinos: Roteamento e Roteador de Ferramentas.

Como fica o fluxo:

  1. Um classificador pequeno devolve o assunto (e uma confiança).
  2. O código escolhe o prompt. Confiança baixa ou assunto “outro” vai para humano.
  3. Cada time dono edita só o seu prompt, com o próprio eval.

O classificador pode errar. Isso é visível e mensurável. O vazamento no prompt único é invisível: a resposta parece do assunto certo, com um brinde do assunto errado.

Outra armadilha: classificar e responder na mesma chamada, com o mesmo prompt longo. O modelo anuncia “assunto: cobrança” e mesmo assim usa o tom de vendas, porque os três blocos continuam na entrada. A classificação só vale quando o código, numa chamada seguinte, envia apenas o prompt da rota.

Antes e depois, na pergunta da fatura:

Antes Depois
Texto enviado vendas + suporte + cobrança só cobrança
Oferta no fim comum fora do prompt, logo fora da resposta
Dono da mudança qualquer time no mesmo arquivo o time de cobrança no prompt dele
Checagem +20 XP de primeiraO time colocou um roteador com três prompts. Cada prompt especializado ainda termina com: se o cliente mudar de assunto, siga as regras do novo assunto. O vazamento voltou. O que restou?

O que você ganha

  • Cada assunto com um prompt curto, testado e mantido pelo time dono.
  • Nenhum vazamento de tom ou regra entre assuntos.
  • Menos tokens por chamada.
  • Métricas por rota, que mostram onde está o problema.

Quando ignorar

  • Dois assuntos parecidos, com as mesmas regras. Separar não traz ganho.
  • Volume baixo e baixo risco. Um assistente interno com poucos usuários pode viver com um prompt só por um tempo.
  • Protótipo. Um prompt único ajuda a descobrir quais assuntos existem; separe quando eles se firmarem.

É esse smell?

Checagem +20 XP de primeiraO prompt de um bot de RH tem blocos para férias, benefícios e folha de pagamento, mas o tom e as regras são os mesmos para os três, e o modelo nunca mistura as respostas. É System Prompt Roteador?

Checagem +20 XP de primeiraUm bot tem um roteador que escolhe entre três prompts especializados, mas cada prompt especializado ainda tem um bloco 'se o cliente mudar de assunto, faça...'. É System Prompt Roteador?

Checagem +20 XP de primeiraO prompt é longo porque tem a tabela de preços de todos os planos, mas atende só vendas. Qual é o smell?

Checagem +20 XP de primeiraO time de cobrança mudou uma frase no bloco de fatura. No dia seguinte o eval de vendas caiu: o bot passou a recusar upgrade com o tom de cobrança. O que o incidente mostra?

Perguntas rápidas

O que é System Prompt Roteador?

System Prompt Roteador (Routing System Prompt) é um smell de IA, ou seja, um sinal de problema em sistemas com LLM, do grupo Inchaços. Um único prompt tenta tratar vendas, suporte e financeiro com blocos de SE o usuário pedir X.

Como corrigir System Prompt Roteador?

Com Introduzir Roteador. Cada refatoração traz o passo a passo seguro, com eval antes e depois.

Onde System Prompt Roteador aparece na prática?

Nos cenários reais Bot de suporte com escalonamento humano.

Para ir além

Relações

Refatorações que tratam 1
Buscar