Governança de IA não é o mesmo que desenvolver seus modelos de IA 

Governança de IA não é o mesmo que desenvolver seus modelos de IA  Tenho perguntado para colegas de outras empresas: “Vocês têm governança de IA implementada?” Algumas respostas descreveram processos técnicos, como controle de versões, monitoramento de desempenho e rotinas de atualização. Outras descreveram governança de verdade.  Esse é o problema que quero endereçar aqui…  O que é controle do ciclo de desenvolvimento  MLOps, como profissionais de tecnologia chamam esse conjunto de práticas, é a engenharia por trás do funcionamento do modelo. Ele responde a perguntas como: o modelo está sendo alimentado com os dados corretos? O desempenho piorou após a última atualização? Quem publicou a versão mais recente e quando?  São perguntas essenciais. Mas insuficientes.  O que é governança de IA  Governança é o conjunto de políticas, papéis e processos que determinam quem decide o que os modelos podem fazer, em quais contextos, e quem responde quando algo dá errado. Ela responde a perguntas completamente diferentes:  Nenhuma dessas perguntas é respondida pelo seu time técnico de IA.  A diferença em uma frase  MLOps diz: “O modelo foi atualizado com os dados de março e a precisão subiu de 87% para 91%.”  Governança diz: “Esse modelo pode ser usado para decisões de crédito abaixo de R$ 50 mil sem revisão humana. Acima disso, obrigatoriamente passa por um analista. A política é revisada a cada seis meses pelo comitê de ética em IA.”  Por que isso custa caro na prática  Em 2018, a Amazon descobriu que seu sistema de triagem de currículos penalizava sistematicamente candidatas mulheres. O modelo tinha controles técnicos sofisticados. […]

Jose Luiz, AAISMEscrito por Jose Luiz, AAISM
Compartilhe
Ilustração conceitual de governança de IA mostrando um cérebro digital conectado por redes neurais ao fundo, uma balança simbolizando equilíbrio entre tecnologia, privacidade e responsabilidade, além de um comitê corporativo analisando decisões de inteligência artificial. A imagem representa governança de IA, ética em algoritmos, compliance, gestão de riscos e regulamentação do uso da inteligência artificial nas empresas.

Entenda a diferença entre governança de IA e MLOps, os riscos regulatórios, a LGPD e por que empresas de todos os portes precisam de políticas claras.

Governança de IA não é o mesmo que desenvolver seus modelos de IA 

Tenho perguntado para colegas de outras empresas: “Vocês têm governança de IA implementada?” Algumas respostas descreveram processos técnicos, como controle de versões, monitoramento de desempenho e rotinas de atualização. Outras descreveram governança de verdade. 

Esse é o problema que quero endereçar aqui… 

O que é controle do ciclo de desenvolvimento 

MLOps, como profissionais de tecnologia chamam esse conjunto de práticas, é a engenharia por trás do funcionamento do modelo. Ele responde a perguntas como: o modelo está sendo alimentado com os dados corretos? O desempenho piorou após a última atualização? Quem publicou a versão mais recente e quando? 

São perguntas essenciais. Mas insuficientes. 

O que é governança de IA 

Governança é o conjunto de políticas, papéis e processos que determinam quem decide o que os modelos podem fazer, em quais contextos, e quem responde quando algo dá errado. Ela responde a perguntas completamente diferentes: 

  • Esse modelo pode tomar decisões de crédito sem revisão humana? 
  • Se o modelo discriminar um grupo, quem é o responsável? 
  • Como um cliente contesta uma decisão automatizada que o prejudicou? 

Nenhuma dessas perguntas é respondida pelo seu time técnico de IA. 

A diferença em uma frase 

MLOps diz: “O modelo foi atualizado com os dados de março e a precisão subiu de 87% para 91%.” 

Governança diz: “Esse modelo pode ser usado para decisões de crédito abaixo de R$ 50 mil sem revisão humana. Acima disso, obrigatoriamente passa por um analista. A política é revisada a cada seis meses pelo comitê de ética em IA.” 

Por que isso custa caro na prática 

Em 2018, a Amazon descobriu que seu sistema de triagem de currículos penalizava sistematicamente candidatas mulheres. O modelo tinha controles técnicos sofisticados. O que não tinha era um processo de aprovação que incluísse análise de equidade antes de ser usado em decisões de RH. Não era falha técnica. Era ausência de governança. 

No Brasil, o artigo 20 da LGPD garante ao cidadão o direito de questionar decisões tomadas exclusivamente por sistemas automatizados. Uma empresa pode ter a operação técnica mais sofisticada do mercado e ainda descumprir a LGPD porque nunca definiu quem analisa uma contestação. 

PMEs também têm obrigação 

Pequenas e médias empresas que usam IA via serviços contratados como ChatGPT, Gemini e Claude não têm modelos próprios para versionar. Mas têm obrigação de governança: política de uso aceitável, definição de quais dados podem ser enviados para serviços externos, e clareza sobre quem aprova novos usos de IA na empresa. A maioria não tem nada disso. Quando a ANPD começar a examinar o uso de IA terceirizada, esses vazios vão aparecer. 

Governança e controle técnico são complementares, mas um não substitui o outro. Confundir os dois é exibir sofisticação técnica na vitrine enquanto a vulnerabilidade real fica escondida no fundo do armário. 

O EU AI Act e o PL 2338 (se aprovado como está) não vão perguntar qual é o seu framework de MLOps. Vão perguntar quem é responsável, qual é o processo, e como você garante que humanos ainda controlam as decisões que importam. 

Descomplicando a Cibersegurança 

Quer saber mais sobre Cibersegurança de uma forma simples e direta, construindo uma base de conhecimento que suporte os desafios da IA? 

Conheça meu livro: “Descomplicando a Cibersegurança” e tenha acesso a um conteúdo essencial para gestores e profissionais que precisam de clareza para navegar no cenário de riscos digitais. 

Link para Amazon: https://a.co/d/00y4w0we    

Linkedin: https://www.linkedin.com/in/joseluizjr  

Jose Luiz, AAISM

Jose Luiz, AAISM

Executivo de Segurança da Informação e Privacidade, é autor do livro “Descomplicando a Cibersegurança”. Combina uma vasta experiência em Governança de TI e Gerenciamento de Riscos com uma sólida formação, incluindo programas Master em Governança para Conselheiros, pós- graduação em administração de empresas, MBA em Engenharia e Arquitetura em Cloud. Detentor de certificações globais de destaque, como CISSP e CIPM, José Luiz está atualmente se especializando ativamente em segurança aplicada à Inteligência Artificial, dedicando-se a orientar empresas na proteção de seus ativos no cenário de riscos da IA.

Ver mais artigos desse autor

Recomendadas para você

O IPO da Anthropic pode marcar o início de uma nova fase da inteligência artificial

O IPO da Anthropic pode marcar o início de uma nova fase da inteligência artificial

O pedido de abertura de capital da Anthropic pode marcar a transição da inteligência artificial para uma fase de maior maturidade de mercado. O movimento coloca em foco a sustentabilidade financeira das empresas de IA e pode abrir caminho para uma nova geração de IPOs no setor.

Rafael Chinaglia
03 DE JUNHO
Background newsletter

Inscreva-se na nossa newslleter

Governança de IA não é o mesmo que desenvolver seus modelos de IA  | AI Brasil