Trilha 02 · 13 aulas · 13 em vídeo
Evals e confiabilidade
Como saber que uma feature com LLM funciona antes do cliente reclamar: evals, dataset de referência, contratos estruturados e trabalho determinístico de volta para o código.
- 01Fundamento▶ 9 minO que é um evalTestes para sistemas que não respondem sempre igual, do caso unitário ao benchmark.
- 02Smell▶ 7 minPrompt Sem EvalO prompt muda em produção sem nenhum conjunto de casos para provar que não piorou.
- 03Refatoração▶ 8 minCriar Eval Antes de Mexer no PromptMontar um conjunto de casos e medir a versão atual antes de qualquer ajuste.
- 04Padrão▶ 9 minBancada de EvalsRodar casos de teste automaticamente a cada mudança de prompt, modelo ou código.
- 05Padrão▶ 9 minDataset de OuroManter um conjunto curado de entradas e respostas esperadas, crescendo com bugs reais.
- 06Smell▶ 7 minPassagem em Texto LivreUma etapa entrega texto solto para a próxima, que precisa adivinhar o formato.
- 07Refatoração▶ 9 minTrocar Texto Livre por Saída EstruturadaDefinir um schema para a saída da etapa e validar antes de seguir.
- 08Smell▶ 8 minLLM Fazendo ContaO modelo calcula impostos, formata datas ou valida CPF, coisas que uma função faz sem errar.
- 09Refatoração▶ 8 minTrocar Chamada de LLM por CódigoMover cálculo, formatação e validação para uma função que o modelo chama.
- 10Smell▶ 7 minRetry CegoQualquer erro dispara nova tentativa, inclusive erros que nunca vão passar.
- 11Refatoração▶ 7 minClassificar Erro Antes de Tentar de NovoSeparar erros temporários de erros definitivos e só repetir o que pode passar.
- 12Cenário real▶ 8 minExtração de NF-e e contratosLer notas fiscais e contratos em PDF e preencher o ERP sem digitação.
- 13Cenário real▶ 10 minPerguntas em linguagem natural para SQLDeixar o time de negócio consultar o banco sem saber SQL, sem risco de estrago.
- Projeto finalLangGraph LabNotas fiscais para o ERPLer notas fiscais de fornecedores e lançar no ERP sem ninguém digitar.