O próximo grande salto da inteligência artificial

Outro dia tive um debate interessante com colegas sobre qual poderá ser o próximo grande salto da inteligência artificial.

Nossa hipótese foi que ele talvez não venha simplesmente do aumento do número de parâmetros dos modelos, mas de uma mudança mais profunda: a forma como eles representam memória e gerenciam contexto.

 A discussão começou por uma característica da arquitetura Transformer que pouca gente percebe.

 Sempre que você envia uma mensagem a um LLM, ele não “lembra” nativamente do que foi dito em interações anteriores. Os Transformers convencionais são essencialmente stateless entre chamadas: embora mantenham um estado temporário durante uma inferência, esse estado não persiste quando uma nova requisição começa.

 Por isso, cabe à aplicação reconstruir o contexto da conversa, reenviando total ou parcialmente o histórico de mensagens a cada nova interação.

 Esse mecanismo, invisível para a maioria dos usuários, traz desafios técnicos e econômicos importantes.

 Estruturas como o KV Cache reduzem o custo da geração de respostas ao reutilizar cálculos já realizados, e alguns provedores utilizam Prompt Caching para evitar reprocessar partes idênticas do prompt entre requisições. Essas otimizações, porém, não eliminam o custo fundamental de trabalhar com contextos cada vez maiores.

Durante o processamento inicial do prompt (prefill), a atenção convencional ainda precisa calcular relações entre um grande número de tokens, exigindo elevada capacidade de memória (VRAM) e processamento. Além disso, contextos extensos tendem a aumentar a latência e o custo da inferência.

 Existe também um limite de qualidade. Diversos estudos documentam o fenômeno Lost in the Middle, no qual muitos modelos apresentam dificuldade crescente para recuperar informações posicionadas no meio de contextos muito longos.

Os recursos de “memória” oferecidos por muitos assistentes atuais também não eliminam essa limitação. Na maior parte dos casos, funcionam como mecanismos externos, como RAG, bancos vetoriais ou sistemas equivalentes, que recuperam informações e reconstroem o prompt antes da inferência, sem criar uma memória interna persistente no modelo.

Talvez por isso uma das frentes mais promissoras da pesquisa esteja buscando arquiteturas com memória e estado nativos, como State Space Models (SSMs), Transformers híbridos e mecanismos recorrentes mais eficientes.

 Ainda não existe consenso sobre qual abordagem prevalecerá. Mas, se modelos capazes de manter estado persistente e memória hierárquica se consolidarem, poderão reduzir significativamente o custo de inferência, diminuir a latência e permitir agentes de IA com verdadeira continuidade entre interações.

Se isso acontecer, o próximo grande salto da IA talvez não venha de modelos maiores, mas de modelos que finalmente consigam lembrar.