IA sob controle: o desafio técnico e ético que definirá o futuro da engenharia de software

Durante o Web Summit 2025 em Lisboa, Max Tegmark — físico do MIT e presidente do Future of Life Institute — fez uma provocação que ressoou profundamente entre engenheiros e profissionais de TI

Compartilhe
IA sob controle: o desafio técnico e ético que definirá o futuro da engenharia de software

Durante o Web Summit 2025 em Lisboa, Max Tegmark — físico do MIT e presidente do Future of Life Institute — fez uma provocação que ressoou profundamente entre engenheiros e profissionais de TI:

“Quem aqui está empolgado com ferramentas de IA que nos ajudem a curar doenças e resolver problemas?”

A questão, porém, não é o entusiasmo, mas a direção que a inteligência artificial está tomando — e o papel que os profissionais de tecnologia terão em moldá-la.

O dilema técnico da superinteligência

Tegmark alertou que o problema não é mais “o avanço da IA”, mas como e com que salvaguardas ela avança.

Em um mundo onde LLMs, agentes autônomos e sistemas multimodais evoluem rapidamente, o risco é construir algo com três “superpoderes” simultâneos:

  1. Inteligência – Capacidade de raciocinar, planejar e resolver problemas complexos;
  2. Generalidade – Aplicar esse raciocínio a qualquer domínio;
  3. Autonomia – Executar ações sem supervisão humana.

Ferramentas que possuem um ou dois desses atributos — como copilotos de código, sistemas de recomendação ou robôs industriais — ainda estão sob controle humano. Mas, quando as três dimensões se cruzam, o sistema pode escapar à verificação e à previsibilidade.

É esse tipo de arquitetura que Tegmark acredita que devemos evitar, ao menos até existir consenso técnico e regulatório sobre controle e segurança.

A “95% AI” e o papel dos desenvolvedores

Para Tegmark, há um espaço seguro e extremamente produtivo para inovar: a chamada “zona dos 95% AI” — soluções que possuem alta capacidade cognitiva ou adaptativa, mas mantêm o humano no loop.

No contexto técnico, isso significa:

  • Copilotos de código que sugerem, mas não comitam;
  • Modelos preditivos que classificam, mas requerem revisão antes da ação;
  • Agentes autônomos limitados por escopo e sandboxing;
  • Automação com logs rastreáveis, thresholds e abort conditions definidos.

Para desenvolvedores, esse paradigma é um convite para projetar IA assistiva e controlável, com governança embutida desde o design.

Engenharia de confiança: segurança como feature

Um dos pontos mais contundentes da palestra foi o paralelo que Tegmark fez entre IA e indústrias reguladas como a farmacêutica ou a aeronáutica.

“Hoje, a IA tem menos regras que um simples sanduíche”, ironizou.

O recado é direto para equipes técnicas: segurança e interpretabilidade precisam ser tratadas como features, não como extras.

Isso envolve:

  • Explainability by design — modelos com rastreabilidade, logs e capacidade de auditoria.
  • Guardrails e políticas de uso — controle de contexto, rate limiting, isolamento de tarefas críticas.
  • Arquiteturas de verificação — pipelines que validam output antes da ação.
  • Testes contínuos de segurança e viés — incluindo monitoramento pós-deploy.

Em outras palavras: a maturidade técnica em IA agora inclui engenharia de confiança.

Ética e regulamentação no radar técnico

Com o avanço das legislações — como o EU AI Act —, a responsabilidade sobre risco e impacto recai cada vez mais sobre quem desenvolve.

Profissionais de tecnologia precisarão entender, implementar e documentar:

  • Camadas de conformidade (propósito, explicabilidade, privacidade);
  • Auditoria de dados e modelos;
  • Validação de fairness e accountability;
  • Design orientado à segurança humana.

Em um mercado onde o diferencial técnico se mistura ao regulatório, desenvolvedores passam a ter papel central na ética aplicada do software — e na sustentabilidade de negócios baseados em IA.

IA para desenvolvedores: oportunidade, não ameaça

Tegmark também desmontou o mito de que “a IA vai roubar o seu emprego”.

Segundo ele:

“Não é a IA que vai roubar o seu emprego. Quem souber usar IA é que vai.”

Para os profissionais de TI, isso traduz-se em uma mudança de mentalidade: dominar IA não apenas como ferramenta de automação, mas como co-autor de sistemas mais criativos, eficientes e seguros.

Exemplos práticos incluem:

  • Copilots de código e agentes de debug integrados à pipeline CI/CD;
  • Automação de testes com LLMs especializados;
  • Ferramentas de documentação e análise de dependências via IA;
  • Modelos que otimizam desempenho e consumo em cloud.

A IA de 95% é o que permite isso: tecnologia poderosa, mas mantida sob controle humano e ético.

O recado final de Tegmark: escolha o lado certo da história

O professor encerrou sua fala com um aviso que soa como manifesto técnico e filosófico:

“Há um caminho diferente rumo à 95% AI, ferramentas que nos complementam em vez de nos substituir. Se pararmos de subsidiar a corrida à superinteligência e exigirmos padrões de segurança, o futuro da IA será simplesmente ótimo.”

Para engenheiros e arquitetos de sistemas, o desafio é claro: criar IA que empodera sem substituir, automatiza sem alienar e aprende sem se emancipar.

Essa é a fronteira ética e técnica que definirá a próxima década da engenharia de software — e quem souber navegá-la será o verdadeiro arquiteto do futuro digital.

*Com colaboração e informações de imasters.com.br

Recomendadas para você

IA em alta, governança em falta: os desafios da informação na adoção de inteligência artificial

IA em alta, governança em falta: os desafios da informação na adoção de inteligência artificial

Das salas de reunião às janelas de chat, a inteligência artificial passou a ser uma ferramenta integrada à rotina das empresas brasileiras. Uma pesquisa realizada pela Associação Brasileira de Recursos Humanos, e divulgada em outubro passado, apontou que ao menos 79% dos profissionais no país já utilizam ferramentas de IA em suas tarefas diárias, mas […]

Inon Neves
05 DE FEVEREIRO
Background newsletter

Inscreva-se na nossa newslleter

IA sob controle: o desafio técnico e ético que definirá o futuro da engenharia de software | AI Brasil