2Refatorações de IA
35 refatorações de IA com eval antes e depois
Como mudar a estrutura de um sistema com LLM sem mudar o que o usuário recebe. Toda refatoração começa e termina com um eval.
- itens
- 35
- Grupos
- 6
Compondo prompts 7
Quebrar, juntar e reorganizar prompts para que cada um tenha um só trabalho.
- Refatoração
Extrair Subprompt
Tirar uma responsabilidade do prompt principal e dar a ela uma chamada própria.
- Refatoração
Embutir Etapa Trivial
Remover uma chamada que não muda o resultado e juntar o trabalho na etapa vizinha.
- Refatoração
Trocar Regras por Exemplos
Substituir uma pilha de regras por poucos exemplos bem escolhidos que mostram o comportamento.
- Refatoração
Mover Instrução para a Ferramenta
Levar a regra de uso de uma ferramenta para a descrição dela, perto de onde o modelo decide.
- Refatoração
Extrair Template Versionado
Juntar pedaços de prompt espalhados em um template com nome, versão e variáveis.
- Refatoração
Separar Instrução de Dado
Marcar claramente o que é ordem do sistema e o que é conteúdo a ser lido.
- Refatoração
Mover Exemplos para um Dataset
Tirar exemplos do código e guardar em um conjunto versionado, escolhido na hora certa.
Movendo controle 7
Tirar decisões de dentro do prompt e colocar onde o código pode garantir.
- Refatoração
Trocar Regra de Prompt por Aresta de Grafo
Transformar um SE isso, faça aquilo escrito no prompt em uma transição explícita no código.
- Refatoração
Trocar Agente por Chain
Quando o caminho é sempre o mesmo, fixar a ordem das etapas no código.
- Refatoração
Extrair Subagente
Dar a uma tarefa grande um agente próprio, com contexto limpo e ferramentas só dela.
- Refatoração
Adicionar Orçamento ao Loop
Limitar passos, tempo e dinheiro de cada execução e definir o que acontece no limite.
- Refatoração
Paralelizar Etapas Independentes
Rodar ao mesmo tempo as chamadas que não dependem uma da outra.
- Refatoração
Introduzir Roteador
Classificar a entrada primeiro e mandar para um prompt ou agente especializado.
- Refatoração
Fundir Agentes
Juntar agentes que só passam texto adiante em um agente com as ferramentas certas.
Organizando dados 5
Dar forma ao que entra e sai de cada etapa.
- Refatoração
Trocar Texto Livre por Saída Estruturada
Definir um schema para a saída da etapa e validar antes de seguir.
- Refatoração
Trocar Histórico por Resumo
Substituir turnos antigos por um resumo e por fatos guardados fora do contexto.
- Refatoração
Tirar o Conhecimento de Dentro do Prompt
Parar de colar documentos no system prompt e buscar só o trecho relevante.
- Refatoração
Trocar RAG por Contexto Direto
Quando o material cabe na janela, mandar inteiro e usar cache de prompt.
- Refatoração
Normalizar Retorno de Ferramenta
Fazer cada ferramenta devolver só os campos úteis, num formato estável.
Simplificando ferramentas 5
Menos ferramentas, mais claras, com o mínimo de poder necessário.
- Refatoração
Consolidar Ferramentas
Fundir ferramentas parecidas e remover as que ninguém usa.
- Refatoração
Trocar Chamada de LLM por Código
Mover cálculo, formatação e validação para uma função que o modelo chama.
- Refatoração
Restringir Permissões
Dar a cada ferramenta só o acesso de que ela precisa para o caso de uso.
- Refatoração
Dividir Ferramenta Faz-Tudo
Quebrar uma ferramenta genérica (run_sql, call_api) em operações nomeadas e seguras.
- Refatoração
Expor Ferramenta via MCP
Publicar a integração como servidor MCP para que qualquer agente use o mesmo contrato.
Segurança e confiabilidade 6
Colocar portões, quarentenas e planos B onde o erro custa caro.
- Refatoração
Pedir Aprovação Antes do Efeito
Pausar a execução e mostrar a ação para um humano antes de pagar, enviar ou apagar.
- Refatoração
Pôr Conteúdo Externo em Quarentena
Ler conteúdo de fora com um modelo sem ferramentas e passar adiante só dados estruturados.
- Refatoração
Validar Antes de Executar
Checar código, SQL ou comando gerado e rodar em ambiente isolado.
- Refatoração
Adicionar Caminho de Fallback
Definir o que fazer quando o modelo, a ferramenta ou o provedor falham.
- Refatoração
Classificar Erro Antes de Tentar de Novo
Separar erros temporários de erros definitivos e só repetir o que pode passar.
- Refatoração
Tirar Segredo do Prompt
Deixar credenciais no código da ferramenta, onde o modelo nunca as vê.
Operação 5
Medir, observar e baratear antes de escalar.
- Refatoração
Criar Eval Antes de Mexer no Prompt
Montar um conjunto de casos e medir a versão atual antes de qualquer ajuste.
- Refatoração
Adicionar Trace
Registrar cada chamada, ferramenta, versão de prompt e custo em um trace navegável.
- Refatoração
Introduzir Cache
Reaproveitar prefixos de prompt e respostas para perguntas equivalentes.
- Refatoração
Introduzir Cascata de Modelos
Tentar primeiro com um modelo barato e subir só quando a confiança for baixa.
- Refatoração
Mover para Execução Durável
Salvar o estado a cada etapa para retomar depois de queda, espera ou aprovação.