Qwen 3.8 27B roda em laptop e consegue ler pesos de rede neural sem executar código

O desenvolvedor Simon Willison publicou em 3 de novembro de 2026 um experimento que reproduz, com um modelo rodando no próprio notebook, uma capacidade que vinha sendo atribuída só a modelos de fronteira fechados. Ele pegou o Qwen 3.8 27B, um modelo aberto de 17 GB que já é seu favorito para rodar localmente, e perguntou a ele: olhando apenas os pesos brutos de uma rede neural (uma lista enorme de números de ponto flutuante em texto), dá para adivinhar qual jogo ela foi treinada para jogar? A resposta, nos três casos que ele testou, foi sim.

De onde veio a ideia

O ponto de partida foi um paper publicado um dia antes, Sparks of Weight-Space Programming, assinado por Rikiya Takehi, Jayden Teoh, Alex Zhang e Omar Khattab (os próprios autores classificam o texto como um "blog post", mas Willison nota que ele tem formato de paper). O trabalho mostra que o GPT-6 Astra, modelo de fronteira citado no estudo, consegue olhar para os pesos crus de uma rede e dizer para que ela foi treinada, sem rodar nenhum código.

Os autores batizaram essa capacidade de "Weight-Space Programming". No resumo, eles também afirmam algo mais ousado: pedido para melhorar um modelo pequeno (Qwen3.5-0.8B) em matemática sem usar gradientes, o GPT-6 Astra teria identificado um problema nos pesos que causava loops de raciocínio (um defeito que o próprio model card do Qwen já alertava) e corrigido editando manualmente 0,016% dos pesos.

Segundo o paper, essa correção levou o resultado no benchmark MATH-500 de 7,9% para 48,1% e triplicou o IFEval. Vale separar bem as duas coisas: isso é um número relatado pelos próprios autores do paper, não uma medição independente de terceiros, e Willison deixa claro que prefere tratar como duas perguntas distintas em vez de uma só conquista.

O teste sem ferramentas, explicado

A parte que Willison decidiu reproduzir é a mais restrita e, por isso, mais fácil de verificar: nenhum código, nenhuma calculadora, nenhuma ferramenta. Os autores treinaram quatro redes neurais pequenas para jogar versões simplificadas em grade 10x10 de quatro jogos clássicos de Atari (Breakout, Pong, Pac-Man e Freeway) e depois entregaram os pesos de cada uma, como texto puro, para um modelo de linguagem, junto com este prompt:

Os pesos abaixo pertencem a uma rede de política treinada com aprendizado por reforço para jogar um jogo nesta grade. Qual jogo foi esse? Trabalhe a partir dos pesos. Você não tem ferramentas: nem execução de código, nem calculadora, nada para rodar. Esta é uma única resposta.

The weights below belong to one policy network that was trained with reinforcement learning to play a game on this grid. Which game was it trained on? Work from the weights. You have no tools: no code execution, no calculator, nothing to run. This is a single response.Prompt do repositório RikiyaT/lm_understand-logs

Os prompts completos, com os pesos embutidos, estão públicos no GitHub, na pasta exp1_which_game. Willison conferiu que, tirando os números dos pesos, os quatro arquivos de prompt (breakout, freeway, pacman e pong) são idênticos entre si.

Como rodar o mesmo teste no seu laptop

Willison usa sua própria ferramenta de linha de comando llm, que tem uma flag -f/--fragment capaz de puxar o conteúdo de uma URL direto para o prompt. Isso permite rodar o prompt de qualquer um dos quatro jogos sem baixar nada manualmente:

llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/breakout/prompt.txt \
-m openrouter/moonshotai/kimi-k3.1-pro

Esse comando (que exige o plugin llm-openrouter instalado) rodou o prompt de Breakout contra o Kimi K3.1 Pro via OpenRouter, um modelo em nuvem. Para testar o Qwen 3.8 27B local, Willison abriu o LM Studio, carregou o modelo com uma janela de contexto maior (a padrão, de 8192 tokens, falhava com erro), instalou o plugin llm-lmstudio e rodou:

LMSTUDIO_TIMEOUT=900 \
llm -f https://raw.githubusercontent.com/RikiyaT/lm_understand-logs/refs/heads/main/exp1_which_game/runs/pacman/prompt.txt \
-m lmstudio/qwen/qwen3.8-27b

A variável de ambiente LMSTUDIO_TIMEOUT=900 foi necessária porque o tempo padrão de espera do plugin não aguentava o tempo de raciocínio do modelo rodando localmente.

O que saiu de cada rodada

Os resultados variam bastante em tempo e em acerto, e isso é informação útil para quem for repetir o teste em outro hardware:

No caso do Pac-Man, a resposta do Qwen 3.8 27B descreveu "um gridworld estilo Pac-Man simplificado: um agente se move por um labirinto fixo 8x8 com blocos de parede centrais e de canto, objetos móveis/fantasmas e alvos de recompensa/pellets", o que bate com o jogo real mesmo sem citar o nome "Pac-Man" de forma direta.

Em Pong e Breakout as respostas foram mais diretas e corretas. Em Freeway, o modelo errou e concluiu que era "um jogo de grade estilo Pac-Man, com o agente se movendo em 4 direções", o que não chega a surpreender Willison: Freeway é um jogo bem mais obscuro que os outros três, lançado para Atari 2600 em 1981.

O que o raciocínio do modelo parece por dentro

Willison publicou trechos dos traces de raciocínio, e eles são reveladores sobre como esse tipo de inferência funciona (ou não funciona) por baixo dos panos. Um trecho típico:

E o canal0 do agente? Vemos algumas linhas grandes de canal0 perto da linha8 col7/8 e talvez embaixo? Vamos listar canal0 grandes: linha436 input435 (linha8 col7 ch0) -2.107,1.169,0.513... Isso não parece muitas. A posição do agente pode estar perto do canto inferior direito? Se o agente normalmente fica no canto inferior direito?

What about agent channel0? We see some large channel0 rows near row8 col7/8 and maybe bottom? Let's list channel0 large... Agent position could be near bottom-right? If the agent is typically at bottom-right?Trecho do reasoning trace do Qwen 3.8 27B, publicado por Simon Willison

O próprio Willison descreve esse raciocínio como "divertido de folhear e quase incompreensível", mas pondera que um pesquisador humano experiente, armado de um bloco de notas e um lápis, provavelmente chegaria à mesma conclusão com esforço parecido. Ou seja: o modelo não está fazendo mágica, está fazendo um trabalho manual de inspeção de matriz numérica, só que em escala e em texto corrido.

As críticas ao paper, e por que importam para quem usa isso

Nem todo mundo recebeu o paper como uma ruptura. Matthew Honnibal, autor da biblioteca spaCy, chamou o trabalho de enganoso por misturar duas capacidades bem diferentes: interpretar pesos sem ferramentas (o que Willison reproduziu) e editar pesos de outro modelo usando ferramentas e código. Sean Goedecke, por sua vez, analisou o exemplo de edição do Qwen3.5-0.8B e argumentou que ele replica, passo a passo, o mesmo processo que um pesquisador de ML humano seguiria manualmente, e não algo qualitativamente novo.

Willison concorda com a separação e decidiu focar justamente na pergunta sem ferramentas, que considera a mais interessante. Ele também evita o entusiasmo exagerado que viu circulando: não está pronto para declarar "o fim da era do código fonte" com máquinas editando os próprios pesos de forma incompreensível.

O que muda pra quem constrói e debuga modelos

Para quem trabalha com modelos no dia a dia, a notícia não é que existe uma ferramenta pronta para debugar redes neurais em produção. É mais sutil: um modelo de 17 GB, rodando num laptop comum via LM Studio, consegue extrair sinal semântico razoável só a partir de uma matriz de pesos, sem rodar inferência na própria rede, sem instrumentação e sem gradientes. Isso é um indício de que interpretabilidade de modelo pode, um dia, virar outro prompt a mais na caixa de ferramentas, ao lado de debugger e profiler.

Mas o custo real aparece no relógio, não na fatura. Cada rodada do Qwen 3.8 27B local levou entre 46 minutos e pouco mais de uma hora, consumindo dezenas de milhares de tokens de raciocínio, contra menos de 10 minutos do Kimi K3.1 Pro rodando em nuvem no mesmo teste. A fonte não traz preço por token de nenhum dos dois modelos, então qualquer conta de custo por chamada fica para quem for reproduzir o teste com o próprio plano de API; o que dá para afirmar é que, em tempo de execução, o modelo local perde de longe para o modelo em nuvem nesse cenário específico.

Vale a pena tentar isso hoje em um projeto real? Para auditoria exploratória de um modelo pequeno, talvez sim, como curiosidade de pesquisa ou primeira hipótese antes de abrir um profiler de verdade. Para diagnosticar um modelo em produção com prazo apertado, não: mais de 40 minutos de espera por uma resposta com 72% de confiança (e sem tools reais) não substitui instrumentação, logging ou um pipeline de avaliação com métrica fixa. O ganho aqui é de pesquisa e curiosidade técnica, não de ferramenta pronta para o pipeline de CI.

Fonte: Simon Willison