Granite Switch 4.1 junta chat, decisão e voz em um único endpoint de IA

O que é o Granite Switch e o que mudou na versão 4.1

O projeto Granite Switch, da IBM, apareceu pela primeira vez na primavera (do hemisfério norte) de 2026, com a proposta de empacotar várias capacidades especializadas dentro de um único modelo hospedado. Nesta quinta-feira, 15 de outubro de 2026, a equipe do Granite publicou no blog da Hugging Face os modelos Granite Switch 4.1, em duas versões: 8B e 30B parâmetros.

A ideia central não mudou: em vez de rodar um modelo para conversar, outro para classificar risco e um terceiro para transcrever áudio, o Switch 4.1 faz as três coisas a partir do mesmo endpoint, trocando de modo sob demanda. Segundo a IBM, isso acontece consumindo aproximadamente a mesma VRAM que o modelo base ocuparia sozinho, o que na prática significa menos GPU para sustentar mais funções.

Como o adaptador reaproveita o cache em vez de recalcular tudo

Para entender por que isso é possível, vale revisar o que é LoRA (Low-Rank Adaptation): uma técnica de ajuste fino que, em vez de retreinar todos os pesos do modelo, treina só um pequeno conjunto de matrizes extras conectadas ao modelo congelado. É barato treinar, barato trocar, e várias LoRAs podem coexistir ao lado do mesmo modelo base.

O Granite Switch usa uma variante chamada Activated LoRA (aLoRA), pensada para ser eficiente em cache: o cache de chave-valor (KV cache) gerado durante a geração de texto pelo modelo base pode ser reaproveitado por qualquer adaptador que entre em ação depois. Isso evita recalcular toda a atenção do zero cada vez que o sistema muda de uma resposta em linguagem natural para uma decisão de classificação ou para transcrição de fala.

A IBM diz ainda ter contribuído recentemente com melhorias no vLLM, motor de inferência muito usado para servir LLMs, voltadas a acelerar a inferência de adaptadores de baixo posto, além de colocar o codificador de fala no mesmo processo que o restante do modelo. A soma dessas peças é o que permite, segundo a empresa, trocar entre chat, decisão e voz com velocidade bem maior do que rodar três modelos separados.

Três adaptadores, uma única chamada de API

Os modelos Granite-Switch-4.1-8B e -30B saem com três adaptadores combinados ao modelo base:

Na prática, isso quer dizer que a versão de 8B parâmetros consegue transcrever um áudio, gerar um resumo dele, checar se o conteúdo é nocivo e testar mais de 15 sinalizadores genéricos, tudo em tempo real e numa única chamada de endpoint. Vale o alerta sobre o benchmark da Guardian aLoRA: é um resultado divulgado pela própria IBM, sem validação publicada de terceiros até o momento.

O duelo contra o Jev num fluxo real de RAG

A IBM também comparou o Granite-Switch-4.1-30B (modelo base congelado mais quatro aLoRAs especializadas) com o Jev-27B, um concorrente que combina um modelo base Qwen congelado com uma única LoRA genérica de decisão. No teste, descrito como uma corrida num fluxo real de RAG (geração aumentada por recuperação) de cinco etapas, o modelo da IBM terminou a tarefa muito mais rápido que o concorrente.

O anúncio não traz o tempo exato de cada lado nem a metodologia completa, então vale tratar esse resultado como alegação do fabricante até aparecer um benchmark independente. O ponto estrutural, porém, é coerente com a arquitetura: como os adaptadores compartilham o KV cache do modelo base, somar especialistas ao lado de um adaptador generalista custa quase nada em latência adicional.

Montando o próprio Switch com a Granite Libraries

A IBM não espera que todo mundo use a composição de fábrica dos modelos 4.1. A empresa mantém uma biblioteca separada, chamada Granite Libraries, com um repositório de adaptadores de decisão e de tarefas especializadas que podem ser combinados livremente num modelo Switch sob medida.

Para quem constrói um agente ou um pipeline de classificação, isso significa escolher só os adaptadores relevantes, como um classificador de intenção específico do próprio domínio ao lado do adaptador de segurança, sem pagar o custo de rodar vários modelos separados. A IBM promete lançar em breve um SDK de adaptadores para treinar novos aLoRAs usando um framework chamado Mellea, além de tutoriais e suporte mais amplo ao Granite Switch. Quem quiser comparar na prática a diferença entre uma aLoRA e uma LoRA comum pode rodar o notebook de corrida que a equipe disponibilizou no Colab.

O teste extremo: um modelo de 3B jogando Doom

Para mostrar o ganho de velocidade de forma mais visual, a equipe treinou uma versão de 3B parâmetros do Granite Switch com adaptadores customizados para jogar o clássico Doom, tomando decisões de navegação em frações de segundo. Segundo a IBM, esse modelo chegou a 60 a 100 decisões por segundo, contra as 10 decisões por segundo que o Jev reporta publicamente para a mesma tarefa, número citado pela própria IBM a partir de um post do blog da typesafe.ai.

A diferença declarada não é só de velocidade: diferentemente do Jev, segundo a IBM, o modelo Switch consegue narrar o que está acontecendo no jogo e responder perguntas do usuário enquanto joga, porque o adaptador de chat e o adaptador de decisão rodam lado a lado, compartilhando o mesmo cache.

Quanto custa rodar e quando faz sentido migrar

Os modelos Granite-Switch-4.1-8B e -30B estão publicados na Hugging Face, com peso aberto para download e hospedagem própria. O post não divulga preço de uso em nuvem gerenciada nem custo por token; a métrica de custo que a IBM destaca é a de infraestrutura: como os adaptadores cabem dentro da VRAM já reservada para o modelo base, quem precisava de três ou quatro GPUs para rodar modelo de chat, classificador de segurança e ASR separadamente pode, em tese, consolidar tudo numa única instância.

Isso compensa sobretudo quem já roda pipelines com múltiplas etapas, como RAG, moderação e transcrição, e sofre com o custo de trocar de contexto entre modelos diferentes. Para quem só precisa de uma chamada ocasional de moderação, um endpoint de classificação isolado, ou a API de outro fornecedor, ainda pode ser mais simples. A decisão de migrar passa por medir o próprio workload, não só confiar nos números que o fabricante publicou.

Fonte: Hugging Face Blog