O tutor de matemática de uma escola roda no WhatsApp. Na aula um, ele combinou com uma aluna: só dicas, nunca a resposta pronta. Na aula seis, ela pediu uma lista de revisão com gabarito, e o tutor deixou, como exceção, para aquela lista.
Na aula doze, ela pede ajuda com um problema novo. O histórico tem as duas regras, várias páginas de contas erradas, três mudanças de horário e um recado da mãe. E o modelo devolve a resposta pronta. Ou, no dia seguinte, recusa até a lista de revisão, porque a regra é só dicas.
Com números ilustrativos, na aula doze, cada chamada já manda uns nove mil e quinhentos tokens de histórico. Na aula quarenta, passa de dezessete mil. E a regra da aula um disputa com tudo o que veio depois. Você conheceu esse smell na aula passada. Agora vai corrigir, com segurança.
Troque os turnos antigos por um resumo. Guarde os fatos que precisam durar num estado explícito, fora do histórico bruto. E mande para o modelo o estado, o resumo e só os turnos recentes.
Antes, o histórico inteiro vai em toda chamada. Mensagem, tudo, modelo, resposta.
Depois, a mensagem nova chega, e só os últimos turnos ficam na forma bruta.
Os fatos duráveis, como preferências, decisões e ids, mais um resumo do resto, ficam num bloco separado.
O modelo recebe esse bloco, mais os turnos recentes. E a resposta entra nos turnos recentes.
Quando os turnos recentes passam de um limite, uma etapa de compactação atualiza o resumo e os fatos, e descarta os turnos antigos.
Aqui está o que o modelo vê depois da compactação da aula doze. O bloco de estado. O nome da aluna. O nível dela por assunto, intermediário em equações, iniciante em geometria. Dicas passo a passo como formato.
E a regra, numa linha só. Só dicas. Com a exceção ao lado, e o escopo dela. A lista de revisão da aula seis.
Depois, um resumo, em poucas linhas. Aulas um a onze: equações do segundo grau, travada em completar o quadrado. Aula seis, a exceção da lista de revisão. Aula onze, começou geometria. E os oito turnos mais recentes ficam inteiros. O recado da mãe e as contas erradas da aula três não entram.
O histórico bruto mistura três coisas. Fatos que ainda valem, contexto que explica o momento e ruído que não importa mais. O modelo recebe os três com o mesmo peso. Separar dá um peso diferente a cada um. Os fatos ficam num bloco curto, sempre presente. O resumo conta a história em poucas linhas. E o ruído vai embora.
O estado explícito resolve a regra que muda. Em vez de o modelo achar duas regras contraditórias em pontos diferentes do histórico, existe uma linha, com a exceção ao lado. A compactação atualiza essa linha, e você consegue ler e testar o que ela escreveu.
E o custo fica estável. Os turnos recentes têm tamanho limitado, os fatos crescem devagar e o resumo tem um teto de palavras.
Uma pergunta para você. Digamos que você acrescenta só um resumo, sem bloco de fatos. Por que o tutor continua errando a regra das dicas com tanta frequência?
Porque um resumo é uma narrativa. Um parágrafo mistura a regra atual com a exceção, e as duas voltam a disputar. O modelo não tem um campo único para consultar. Um campo de modo de solução, com o escopo da exceção ao lado, deixa explícito o que está valendo.
Passo zero, medir. Monte um eval com sessões longas reais, anonimizadas, com perguntas que dependem de algo dito no começo. A regra das dicas, o id da conta, o CEP de entrega. Anote o acerto, o custo por turno e o tempo até a primeira palavra, no fim das sessões.
Liste os fatos duráveis do seu domínio. Ids, preferências, regras combinadas, decisões e exceções com o escopo delas. Eles viram um schema.
Escreva o prompt de compactação pedindo duas saídas. Os fatos atualizados, estruturados, e um resumo curto do que aconteceu. E peça a fonte, o turno ou a aula, de cada mudança num fato.
Escolha o gatilho, uma contagem de tokens ou de turnos. E sempre mantenha os últimos turnos inteiros. De oito a doze é um ponto de partida comum. Ajuste pelo eval.
Rode a compactação fora do caminho crítico quando der, entre turnos ou em segundo plano. A aluna não deveria esperar o resumo da aula onze para receber a dica da aula doze.
Guarde o histórico inteiro fora do contexto, para auditoria e para refazer o resumo se ele der errado.
Registre toda compactação no trace, com os fatos antes e depois. Se o modo de solução mudou sem a aluna pedir, você vê na hora.
E meça de novo. O acerto nas perguntas que dependem dos primeiros turnos deve se manter ou subir. O custo por turno no fim das sessões deve cair.
Agora, os riscos. Um resumo que perde o fato certo. Você pega com casos de eval que perguntam sobre fatos antigos, e comparando os fatos antes e depois no trace.
Um resumo que inventa. O modelo de compactação pode juntar coisas que nunca foram ditas juntas. A aluna pediu gabarito em todas as listas. Peça fatos com referência ao turno de origem, e recuse qualquer fato sem fonte.
Erros que se acumulam. Cada resumo é construído sobre o anterior. Um desvio pequeno na aula oito vira uma regra falsa na aula vinte. Guarde o histórico bruto e refaça a partir dele de vez em quando, não só a partir do último resumo.
E um cache de prompt que vive zerando. Se você compacta a cada turno, o começo do contexto muda toda vez, e o cache quase nunca acerta. Compacte em blocos, quando os turnos recentes passam de um teto, para o começo ficar estável entre compactações.
E o erro comum. Compactar só quando a janela enche. Se você espera a API recusar o contexto, a sessão já está cara e o modelo já está perdido no meio. O gatilho é um limite que você escolhe, abaixo da janela, no ponto em que o eval ainda acerta as perguntas antigas. Compactar cedo demais também machuca. Você perde detalhe da conversa atual. Por isso os últimos turnos ficam inteiros.
Mais um caso, com dinheiro envolvido. O bot de WhatsApp de um banco guarda uma chave Pix no estado. Um turno antigo tinha a chave errada, e ela foi corrigida depois. Depois da compactação, o estado ainda mostra a chave velha. O que falhou? A compactação tratou a correção como mais uma frase no resumo, não como uma atualização do campo da chave. Um fato durável precisa ser um campo. E a correção precisa sobrescrever o valor antigo, com o turno da correção como fonte. Senão o próximo Pix vai para o destino antigo.
E quando essa é a ferramenta errada? Uma sessão de atendimento de três turnos, em que o cliente ainda está descrevendo o problema. Não existe passado para compactar. Resumir agora joga fora detalhe que a próxima resposta precisa.
E um assistente que cola trinta e sete políticas no prompt de sistema em toda chamada. Isso não é histórico de sessão. É conhecimento colado. Tire do prompt e busque o trecho atual.
Então, a ideia para levar. Separe o histórico pelo que ele serve. Fatos que precisam durar viram campos, com fonte. O passado vira uma história curta. O presente fica inteiro. Meça com perguntas sobre o começo, guarde o histórico bruto para auditoria e compacte em blocos.
Na próxima aula, vamos olhar o padrão completo para onde essa refatoração leva, inclusive agentes que compactam o próprio trabalho no meio da tarefa: context compaction. Até lá.
Replace History with Summary
Trocar Histórico por Resumo (Replace History with Summary) é uma refatoração de IA para sistemas com LLM, do grupo Organizando dados. Substituir turnos antigos por um resumo e por fatos guardados fora do contexto.
A sessão carrega o histórico inteiro, que só cresce, confunde o modelo e encarece cada turno. É o smell Contexto Podre.
O tutor de matemática no WhatsApp da escola combinou, na aula 1: “só dicas, nunca a resposta pronta”. Na aula 6 a aluna pediu a lista de revisão com gabarito, e o tutor aceitou como exceção daquela lista. Na aula 12 ela pergunta a equação de uma questão nova. No histórico estão as duas regras, várias páginas de contas erradas, três mudanças de horário e um recado da mãe. O modelo devolve a resposta pronta. Ou, no dia seguinte, recusa até a lista de revisão, porque “a regra é só dicas”.
O paper “Lost in the Middle” (Liu et al., 2023) documentou o mesmo tipo de falha em leitura longa: modelos acham pior o que está no meio de um contexto grande do que o que está no começo ou no fim. Uma sessão de semanas é esse contexto, renovado a cada turno.
Os números abaixo são ilustrativos. Suponha um system prompt de 1.500 tokens e uns 200 tokens por turno (pergunta mais resposta). Na aula 12, com 40 turnos, cada chamada já manda cerca de 9.500 tokens de histórico. Na aula 40, passam de 17 mil, e a regra da aula 1 compete com tudo que veio depois.
Troque os turnos antigos por um resumo e guarde os fatos que precisam durar num estado explícito, fora do histórico bruto. Mande ao modelo o estado, o resumo e só os turnos recentes.
def answer(session, user_msg):
- session.messages.append(user(user_msg))
- reply = call_model(SYSTEM, session.messages) # tudo, sempre
+ session.messages.append(user(user_msg))
+ if tokens(session.messages) > COMPACT_AT:
+ old, recent = split(session.messages, keep_last=8)
+ session.summary = summarize(session.summary, old) # resumo acumulado
+ session.facts.update(extract_facts(old)) # fatos duráveis
+ session.messages = recent
+ context = [state_block(session.facts, session.summary), *session.messages]
+ reply = call_model(SYSTEM, context)
session.messages.append(assistant(reply))
return replyAntes: o histórico inteiro entra em toda chamada.
flowchart LR
U(["1. Mensagem"]):::io --> H[("2. Histórico inteiro")]:::store
H --> M(["3. Modelo"]):::llm
M --> R(["4. Resposta"]):::io
Depois: estado, resumo e turnos recentes, com a compactação fora do caminho principal.
flowchart LR
U(["1. Mensagem"]):::io --> H[("2. Turnos recentes")]:::store
F[("3. Fatos e resumo")]:::store --> M(["4. Modelo"]):::llm
H --> M
M --> R(["5. Resposta"]):::io
H -->|"passou do limite"| C(["6. Compactar"]):::llm
C --> F
Depois da compactação da aula 12, o bloco de estado pode ser:
{
"student": "Ana",
"level": {"equations": "intermediario", "geometry": "iniciante"},
"format": "dicas passo a passo",
"solution_mode": "so_dicas",
"solution_mode_exceptions": [
{"scope": "lista de revisao aula 6", "mode": "gabarito completo"}
]
}O resumo, em poucas linhas: “Aulas 1 a 11: equações do segundo grau, travou em completar quadrado. Aula 6: lista de revisão com gabarito, exceção combinada. Aula 11: começou geometria, Teorema de Pitágoras.” Os oito turnos recentes ficam inteiros. A regra vigente está numa linha só. O recado da mãe e as contas erradas da aula 3 não entram.
O histórico bruto mistura três coisas: fatos que continuam valendo, contexto que explica o momento e ruído que não importa mais. O modelo recebe as três com o mesmo peso. Separar dá peso diferente a cada uma: fatos ficam num bloco curto e sempre presente, o resumo conta a história em poucas linhas, e o ruído sai.
O estado explícito resolve o caso da regra que muda. Em vez de o modelo achar duas regras contraditórias em pontos diferentes do histórico, existe uma linha só: solution_mode: so_dicas, com a exceção da lista da aula 6 ao lado. Quem atualiza essa linha é a compactação, e você consegue ler e testar o que ela gravou.
O custo fica estável: o tamanho do contexto deixa de depender da idade da sessão. Os últimos turnos têm tamanho limitado; o bloco de fatos cresce pouco; o resumo tem teto em palavras. O padrão de destino é Compactação de Contexto.
solution_mode mudou sem a aluna ter pedido, você vê na hora.Se você espera a API recusar o contexto, a sessão já está cara e o modelo já está perdido no meio. O gatilho é um limite seu, abaixo da janela, no ponto em que o eval ainda acerta as perguntas antigas. Compactar cedo demais também dói: some detalhe da conversa atual. Por isso os últimos turnos ficam inteiros.
Este prompt de compactação gera resumos bonitos que perdem informação. O que falta nele?
Resuma a conversa abaixo em um parágrafo, de forma clara e concisa.Faltam três coisas: dizer o que precisa sobreviver, separar fatos de narrativa e tratar o resumo anterior.
Você atualiza a memória de uma sessão de tutoria.
Entrada: os fatos atuais (JSON), o resumo anterior e os turnos novos.
1. Atualize os fatos: nível da aluna por tópico, preferências de formato
e regras combinadas. Se uma regra nova tem escopo limitado (uma lista,
uma aula), registre o escopo. Cite o turno de origem de cada mudança.
2. Reescreva o resumo em até 120 palavras, incluindo o resumo anterior.
Só o que ajuda a próxima aula: o que foi visto, onde ela travou.
3. Não invente nada que não está nos turnos.Responda as 6 perguntas para concluir a aula. Só assistir não conclui: a checagem é o que conta para a trilha e para o certificado.
Trocar Histórico por Resumo (Replace History with Summary) é uma refatoração de IA para sistemas com LLM, do grupo Organizando dados. Substituir turnos antigos por um resumo e por fatos guardados fora do contexto.
Trata Contexto Podre.
Ao padrão de projeto Compactação de Contexto e Memória de Curto Prazo.