NVIDIA abre quatro modelos de simulação de mundo para robótica e carros autônomos

Em 5 de novembro de 2026, o time de pesquisa da NVIDIA publicou no blog do Hugging Face quatro novos checkpoints (pesos prontos para uso) da família Cosmos 3 Nano, a frente da plataforma Cosmos voltada a simulação interativa de mundo. Os quatro são derivados do mesmo modelo base, o Cosmos3-Nano, com 16 bilhões de parâmetros treináveis, e saem sob a licença OpenMDW1.1, que permite uso comercial e não comercial dentro dos termos definidos pela NVIDIA.

Não confunda com um assistente de chat. Um "modelo de mundo" prevê o que acontece a seguir numa cena a partir de controles (texto, mapas de cena, ações de robô), o que permite montar ambientes de simulação sem depender só de dados coletados no mundo real. O "agente" que esse lançamento afeta não é o chatbot que atende cliente: é a política que controla um braço robótico ou decide a trajetória de um carro autônomo, treinada e testada dentro desses mundos gerados.

Quatro modelos, quatro pontos de entrada diferentes

Cada checkpoint resolve um pedaço distinto do problema de simular um mundo interativo:

O caminho recomendado pela própria NVIDIA conecta dois desses modelos: você adapta o Transfer-Auto ao seu rig de câmeras e LiDAR via post-training, e só depois aplica treino causal e destilação para chegar a uma versão rápida de streaming, que é exatamente como o Sim-Auto foi construído a partir do Transfer-Auto.

Como o modelo lembra do que já gerou

O Cosmos 3 usa um backbone chamado Mixture-of-Transformers, que liga uma rede de processamento de texto a uma rede de geração visual por atenção. A geração em streaming segue um ciclo simples:

controles + histórico → gera bloco → decodifica imagens → atualiza histórico

O modelo opera sobre representações comprimidas de vídeo chamadas latents: depois da imagem inicial, cada passo de latent equivale a quatro quadros RGB. O Transfer prevê um passo por bloco, enquanto a configuração otimizada do Bimanual descrita no relatório técnico prevê dois. Blocos menores deixam novos controles influenciarem a geração com mais frequência, ao custo de mais chamadas ao modelo.

Uma atenção temporal causal garante que o modelo só leia histórico e controles disponíveis, bloqueando observações futuras, e um cache de chave/valor guarda o contexto de atenção para a próxima previsão sem recalcular tudo do zero.

O treino em quatro estágios que tenta evitar que o erro se acumule

O problema de qualquer modelo que gera sua própria história para se basear é o erro acumulado: um objeto levemente mal previsto vira contexto para os quadros seguintes, e esse desvio se propaga. A NVIDIA descreve uma receita de post-training em quatro estágios para lidar com isso:

• Estágio 0, adaptação bidirecional: o modelo aprende o domínio e a relação entre controle e vídeo a partir de clipes completos já gravados.
• Estágio 1, teacher forcing: cada bloco é previsto a partir de observações reais anteriores e dos controles disponíveis, com a resposta certa e os alvos futuros mascarados.
• Estágio 2, destilação por consistência: um professor congelado treina um aluno que gera cada bloco em apenas quatro passos de denoising.
• Estágio 3, self-forcing: o treino passa a usar o histórico gerado pelo próprio aluno, com um professor congelado e um modelo de score auxiliar fornecendo o sinal de ajuste de distribuição.

O quarto estágio é o que separa um modelo que funciona bem em laboratório de um que aguenta rollouts longos em produção, porque é ali que o modelo aprende a conviver com seus próprios erros em vez de só com dados perfeitos.

A conta que aparece depois do "é de graça"

Os pesos são gratuitos e abertos, então não existe cobrança por token ou por chamada como numa API fechada. A ficha de requisitos, porém, deixa claro que "rodar localmente" aqui não é sinônimo de rodar numa estação de trabalho comum: Linux, GPU NVIDIA, Docker e NVIDIA Container Toolkit são pré-requisitos, e a configuração oficial com vLLM-Omni foi testada numa única GB200, a GPU de data center top de linha da NVIDIA voltada a fábricas de IA.

A própria NVIDIA avisa que esse teste não é uma especificação de memória mínima, ou seja, pode rodar em menos hardware, mas quem quiser reproduzir o comportamento documentado precisa orçar infraestrutura de datacenter (própria ou alugada em nuvem), não uma GPU de consumo. É a troca real: sem custo por token, com custo de infraestrutura concentrado.

Um detalhe que interessa a quem já usa agentes de codificação no fluxo de trabalho: cada checkpoint vem com um link de "open skill", pensado para apontar diretamente um agente de código para as instruções de inferência, além dos notebooks tradicionais. A NVIDIA está apostando que parte da adoção vai passar por ferramentas agênticas de desenvolvimento, não só por notebooks manuais.

Quem deveria testar isso agora e quem pode esperar

Faz sentido olhar para esses checkpoints se o time já tem um pipeline de coleta de dados de robótica ou direção autônoma e quer gerar cenários sintéticos (clima, iluminação, geometria de pista) sem precisar sair a campo de novo, ou se a equipe de direção autônoma precisa estressar uma política variando sinalização e traçado antes de testar na rua de verdade.

Quem não tem GPU de ponta disponível, própria ou alugada, vai esbarrar no requisito de infraestrutura antes mesmo de chegar ao post-training. E quem procura um "world model" para casos de uso conversacionais está no produto errado: isso é geração de vídeo e sensor condicionada a ação, não geração de texto.

A própria equipe deixa um aviso prático para quem for adaptar os modelos ao próprio domínio, útil para não comemorar cedo demais:

Uma execução curta bem-sucedida verifica a execução, não a convergência.

A successful short run verifies execution, not convergence.Equipe Cosmos, NVIDIA

Ou seja: rodar um teste rápido confirma que o pipeline de post-training está funcionando, mas a avaliação de qualidade real exige rodar em episódios reservados (held-out) e comparar com o comportamento esperado, não só checar se o treino não quebrou.

Fonte: Hugging Face Blog