Trilha 06 · 14 aulas
Produção: custo, latência e operação
Sistema barato, rápido e observável: tracing, passos em paralelo, cache, cascata de modelos, plano B quando o provedor cai e uma stack sem amarra de fornecedor.
- 01FundamentoCusto e latênciaFazer a conta de cada chamada antes de ir para produção.
- 02FundamentoObservabilidade para IATraces, spans e logs que deixam você responder: por que o agente fez isso?
- 03SmellVoo CegoQuando algo dá errado, ninguém consegue ver quais chamadas, ferramentas e contexto levaram à resposta.
- 04RefatoraçãoAdicionar TraceRegistrar cada chamada, ferramenta, versão de prompt e custo em um trace navegável.
- 05SmellFila Indiana de ChamadasCinco chamadas independentes rodam uma depois da outra e o usuário espera 20 segundos.
- 06RefatoraçãoParalelizar Etapas IndependentesRodar ao mesmo tempo as chamadas que não dependem uma da outra.
- 07PadrãoSeccionamentoQuebrar a tarefa em partes independentes e rodar todas em paralelo.
- 08SmellPagando Duas VezesO mesmo contexto grande e as mesmas perguntas são processados do zero toda vez.
- 09RefatoraçãoIntroduzir CacheReaproveitar prefixos de prompt e respostas para perguntas equivalentes.
- 10PadrãoCascata de ModelosComeçar pelo modelo mais barato e subir de nível só quando necessário.
- 11SmellRefém de um ProvedorQuando a API do modelo cai ou fica lenta, o produto inteiro para junto.
- 12RefatoraçãoAdicionar Caminho de FallbackDefinir o que fazer quando o modelo, a ferramenta ou o provedor falham.
- 13FundamentoEscolhendo a stackAs camadas de um sistema com LLM e quando LangChain, LangGraph, o SDK do provedor ou outra biblioteca pagam a conta.
- 14Cenário realPesquisa profunda com citaçõesInvestigar uma pergunta aberta em dezenas de fontes e entregar um relatório citado.
- Projeto finalLangGraph LabPesquisa profunda com citaçõesUm sistema que investiga uma pergunta aberta em dezenas de fontes e entrega em minutos um relatório com fonte em cada frase.