Prompt Preso ao Modelo (Model-Pinned Prompt) é um smell de IA, ou seja, um sinal de problema em sistemas com LLM, do grupo Impeditivos de mudança. Trocar de modelo ou de versão quebra tudo, porque o prompt depende de manias do modelo antigo.
Um assistente jurídico usa o mesmo modelo há um ano e meio. O time quer migrar para um modelo mais novo, mais barato e mais capaz. O prompt tem trechos como estes (anonimizado):
Pense passo a passo antes de responder. ESCREVA SEU RACIOCÍNIO entre<pensamento> e </pensamento> e só depois a resposta.NUNCA, EM HIPÓTESE ALGUMA, omita a cláusula de foro.Responda começando exatamente com "Parecer:" (o parser depende disso).Se a resposta passar de 800 palavras, você será penalizado.
Com o modelo novo, o raciocínio entre tags vaza para o texto final, as instruções em maiúsculas deixam o tom rígido demais, e o parser quebra porque a resposta começa com uma frase antes de “Parecer:”. A migração, prevista para uma semana, levou três.
Cada truque compensava uma mania do modelo antigo. “Pense passo a passo” forçava raciocínio visível. Maiúsculas e ameaça de penalidade empurravam uma instrução que o modelo antigo ignorava. O parser em split("Parecer:") tratava prosa como schema. O modelo novo segue a instrução à risca, às vezes demais, e o código que esperava um texto rígido quebra.
Sinais de Prompt Preso ao Modelo:
O prompt tem truques que compensavam limitações de um modelo antigo (raciocínio em tags, ameaças, repetição de instruções).
O código depende do formato exato do texto (“começa com”, “linha 2 é o título”).
Ninguém sabe quais instruções ainda são necessárias.
Trocar de modelo ou de versão é um projeto, não uma tarde.
Não existe eval que rode nos dois modelos e compare.
flowchart LR
P(["1. Prompt ajustado ao modelo A"]):::llm --> A(["2. Modelo A: funciona"]):::llm
P --> B(["3. Modelo B: comportamento diferente"]):::llm
B --> X["4. Parser quebra, tom muda"]:::tool
O prompt foi ajustado, ao longo do tempo, às manias de um modelo específico.
Com aquele modelo, tudo funciona.
Com um modelo novo, os truques produzem efeitos diferentes.
O código que dependia do formato quebra, e o comportamento muda sem aviso.
Ajustar um template ao modelo da vez é normal. O smell é quando essa folha de truques é o único jeito de o sistema funcionar, e ninguém consegue tirá-la.
Por que acontece
Ajustes por tentativa e erro. Cada problema foi resolvido com o truque que funcionou naquele modelo. Ninguém apagou o truque quando a causa sumiu.
Formato garantido por texto. Antes da saída estruturada, o jeito era pedir um formato e torcer. O parser nasceu nessa época e ficou.
Modelos novos seguem instruções de outro jeito. O que antes precisava de ênfase agora é seguido à risca, às vezes demais. Modelos com raciocínio interno ainda obedecem escreva seu raciocínio entre tags e duplicam o trabalho no texto visível.
Sem eval comparativo. Ninguém mede o prompt em outro modelo até a hora da migração. Aí o provedor já avisou a data de aposentadoria do snapshot.
Medo de apagar. “Não mexa, está em produção.” A folha de truques vira relíquia.
Quanto custa ignorar
Preso a um modelo velho. O time paga mais por um modelo pior porque migrar é arriscado. Quando o provedor aposenta o snapshot, a migração vira emergência.
Quebra forçada. Atualizações pequenas de versão já mudam o texto o bastante para o split falhar.
Prompt inchado. Truques empilhados deixam o system prompt maior, mais caro em toda chamada, e mais difícil de ler. Veja Prompt Inchado.
Tom e política. Ameaça e maiúsculas vazam para o usuário. Num parecer jurídico, “você será penalizado” não deveria estar no caminho da cláusula de foro.
Sempre, primeiro. Um eval que roda nos dois modelos e compara por categoria transforma a migração numa decisão medida. Destinos: Bancada de Evals e Dataset de Ouro.
O prompt está espalhado ou sem versão. Um template por modelo, versionado, permite migrar uma rota de cada vez e voltar atrás. Destino: Registro de Templates.
Eval no modelo atual, com as categorias que o parser hoje esconde (cláusula de foro presente, valor extraído, tom).
Schema no lugar do split.parecer, foro, riscos como campos, não como prosa.
Apagar truques (tags de raciocínio, ameaça, maiúsculas de rotina) numa branch, medir.
Rodar o mesmo eval no modelo novo. Onde cair, ajuste mínimo e versionado, não uma nova folha de ameaças.
Migrar uma rota por vez, com o template antigo ainda publicado para rollback.
Antes e depois do prompt, o miolo que sobra:
# depoisVocê é um assistente jurídico. Responda no schema.Inclua sempre a cláusula de foro quando o contrato tiver uma.Não invente jurisprudência.
Três linhas no lugar de um parágrafo de truques. O schema segura o formato. O eval segura o resto.
O que você ganha
Migração de modelo em dias, com um número antes e depois.
Prompts mais curtos, sem truques herdados.
Código que não depende do formato do texto.
Liberdade para escolher o modelo pelo custo e pela qualidade, não pelo medo.
Quando ignorar
O modelo atual atende e não será aposentado. Se não há motivo para migrar, não há urgência. Mas monte o eval mesmo assim: a data de aposentadoria sempre chega.
Prompts descartáveis. Um script de uso único pode depender do modelo que estiver disponível.
É esse smell?
Perguntas rápidas
O que é Prompt Preso ao Modelo?
Prompt Preso ao Modelo (Model-Pinned Prompt) é um smell de IA, ou seja, um sinal de problema em sistemas com LLM, do grupo Impeditivos de mudança. Trocar de modelo ou de versão quebra tudo, porque o prompt depende de manias do modelo antigo.