Cache de Prompt

Prompt Caching

Cache de Prompt (Prompt Caching) é um padrão de projeto de IA para apps com LLM e agentes, do grupo Operação e qualidade. Reaproveitar o prefixo fixo do prompt para cortar custo e latência.

Elemento: 69/70

Perguntas rápidas

O que é Cache de Prompt?

Cache de Prompt (Prompt Caching) é um padrão de projeto de IA para apps com LLM e agentes, do grupo Operação e qualidade. Reaproveitar o prefixo fixo do prompt para cortar custo e latência.

Quais smells o padrão Cache de Prompt ajuda a curar?

RAG Desnecessário e Pagando Duas Vezes.

Onde Cache de Prompt aparece na prática?

Nos cenários reais Chat com a base de conhecimento interna, Agente de código e Assistente jurídico.

Leia a seguir

PadrãoOrçamento de CustoMedir e limitar gasto por tarefa, usuário e dia, com alerta e plano de corte.

Para ir além

Relações

Smells que ajuda a curar 2: RAG Desnecessário
Pagando Duas Vezes
Refatorações que chegam aqui 2: Trocar RAG por Contexto Direto
Introduzir Cache
Padrões vizinhos 7: Bancada de Evals
LLM como Juiz
Dataset de Ouro
Deploy Sombra
Cascata de Modelos
Cache Semântico
Orçamento de Custo
Aparece nos cenários 3: Chat com a base de conhecimento interna
Agente de código
Assistente jurídico