Benchmark DecoyCount expõe limite de raciocínio visual nos modelos de ponta

Um benchmark para separar "ver" de "contar certo"

A startup Elorian, que saiu do modo stealth em abril de 2026 com uma rodada seed de 55 milhões de dólares (liderada por Striker Venture Partners, Menlo Ventures e Altimeter Capital), lançou em outubro de 2026 o DecoyCount, um benchmark feito em parceria com a empresa de dados para IA Mercor. A ideia é simples de explicar e difícil de resolver: testar se um modelo de linguagem com visão realmente conta objetos numa imagem ou se usa atalhos visuais para chutar um número plausível.

O CEO da Elorian, Andrew Dai, deu o exemplo que resume o problema a Richard MacManus, do site Latent Space. Uma pessoa vê uma maçã na frente de um espelho e sabe, sem esforço, que existe apenas uma maçã sendo refletida. Um modelo pode errar de duas formas diferentes: não enxergar a maçã de verdade (um problema de visão) ou contar a maçã e o reflexo como dois objetos (um problema de raciocínio). A maioria dos benchmarks de contagem só checa o número final, o que mistura os dois tipos de erro e impede saber qual parte do modelo precisa de conserto.

O conjunto tem 1.660 itens e, segundo o paper que acompanha o lançamento, expõe "falhas de contagem interpretáveis em sete mecanismos" diferentes, cada um isolando um tipo específico de confusão entre o que o modelo vê e o que ele conclui.

Os números: nenhum modelo de ponta passa de 44%, mas a comparação tem uma ressalva

O paper avaliou seis modelos de ponta com três execuções cada, usando as configurações recomendadas por cada fabricante. Nenhum passou de 44% de acerto.

O Glimpse, modelo de visão que a própria Elorian lançou neste mês de outubro, não aparece no paper oficial do benchmark. O número de 50,48% veio de um teste interno que Dai passou por e-mail à publicação.

Sem nenhuma pista, o Glimpse pontuou 50,48% nos 1.660 itens do DecoyCount, sendo o único modelo da comparação a superar os 50%.

Without any cues, Glimpse scored 50.48% on the 1,660 DecoyCount items, making it the only model in the comparison to clear 50%.Andrew Dai, CEO da Elorian

Vale notar a assimetria metodológica: os seis modelos do paper foram medidos em três execuções cada, enquanto o Glimpse rodou uma única vez, sem agente nem ferramentas de apoio (o que o paper chama de "tool harness"). Dai foi transparente sobre essa diferença, mas ela significa que o número do Glimpse ainda não passou pelo mesmo escrutínio dos concorrentes, nem foi verificado por terceiros. A conclusão do próprio paper, sobre os seis modelos avaliados, resume o achado central:

Um raciocínio geral mais forte não se generaliza, por si só, para um raciocínio visual alinhado.

Stronger general reasoning does not by itself generalize to aligned visual reasoning.Paper do DecoyCount

O que é "pensar com imagens", a aposta da Elorian

Andrew Dai não é novato: em 2015, ainda no Google, coassinou com Quoc Le o paper Semi-supervised sequence learning, que antecipou a abordagem de pré-treino seguido de ajuste fino depois adotada em larga escala pelos modelos de linguagem. Na década seguinte trabalhou no Google DeepMind em projetos como GLaM MoE, PaLM 2 e Gemini, até deixar a empresa neste ano de 2026 para fundar a Elorian.

A tese por trás do Glimpse vem de um conceito da psicologia chamado visual thinking (pensamento visual). Segundo Dai, quando uma pessoa resolve um problema espacial, ela visualiza a situação: gera e edita imagens mentalmente antes de chegar a uma resposta. O exemplo que ele dá é comprar um sofá e imaginar como ele vai ficar na sala, ou contar pessoas ao redor de uma mesa "riscando" cada uma mentalmente conforme conta.

No Glimpse, essa ideia vira arquitetura: a geração e a edição de imagens entram como parte do próprio traço de raciocínio do modelo, ao lado do texto, em vez de servirem só como saída final. É uma diferença de engenharia relevante para quem avalia modelos multimodais: o modelo não apenas descreve o que vê, ele manipula uma representação visual intermediária antes de responder.

Por que a Elorian diz que isso não é o mesmo que um world model

2026 teve lançamentos de peso em "world models", sistemas que simulam ambientes 3D navegáveis. O Atlas, da World Labs, saiu em setembro (a empresa foi depois adquirida pela AMD), e o Google lançou recentemente o Genie 4. Dai faz questão de diferenciar o Glimpse dessa categoria.

Na leitura dele, world models permitem "ação direta" sobre um mundo simulado, como navegar e manipular objetos dentro de uma reconstrução 3D. O Glimpse mira em "ação indireta": usar raciocínio visual para informar uma decisão ou um fluxo de trabalho, sem precisar renderizar um ambiente completo. O exemplo que ele cita é moderação de conteúdo: decidir se um vídeo enviado por usuário viola uma política não exige simular o mundo em 3D, exige entender o que está na cena.

Onde o raciocínio visual pode valer dinheiro

Dai lista aplicações concretas em três frentes:

• Robótica: um robô de armazém que precisa contar itens numa caixa, onde uma bandeja de 12 lugares pode ter só 10 peças e uma etiqueta de "pacote com 24" não garante que os 24 itens ainda estejam lá.
• Engenharia e arquitetura: checagem de conformidade com código de obras, uma tarefa repetitiva que depende de comparar o que está desenhado com o que a norma exige.
• Defesa: aplicações que a empresa cita sem detalhar casos específicos.

Para robótica, a Elorian divulgou resultados em dois benchmarks, o WGO Bench e o ERQA, nos quais afirma empatar ou superar modelos de ponta a um custo bem menor. Esse dado, porém, veio de um gráfico próprio da empresa, sem os números exatos de pontuação nem o custo por chamada ou por token divulgados publicamente, o que impede comparação direta com o preço de modelos como GPT-6 Astra ou Gemini-3.8-flash.

O que ainda falta saber antes de trocar de modelo

Para quem decide qual modelo usar numa tarefa visual, o DecoyCount é um sinal de alerta útil: mesmo os modelos mais fortes em raciocínio textual ainda confundem o que veem com o que esperam ver, e isso é um problema de produto, não só de benchmark, em qualquer aplicação que dependa de contar, medir ou verificar algo numa imagem.

Mas três pontos ainda estão em aberto. Primeiro, o número do Glimpse não passou pelo mesmo protocolo de três execuções aplicado aos concorrentes, e não foi auditado por terceiros como o resto do paper. Segundo, a Elorian não publicou preço por chamada, por token ou por mês para o Glimpse, nem detalhou os números do WGO Bench e do ERQA, o que torna a alegação de "custo bem menor" não verificável no momento. Terceiro, a afirmação de que raciocínio visual é pré-requisito para AGI é posicionamento de marketing da empresa, não um resultado medido, e vale tratá-la como tal ao avaliar o discurso por trás do produto.

Fonte: Latent Space