Quem responde quando o mecanismo falha

Quando um sistema automatizado nega um crédito, ordena uma prioridade médica ou suspende um benefício previdenciário, a pergunta que se costuma fazer é se o algoritmo foi ético. A pergunta chega tarde e no lugar errado. Chega tarde porque o sistema já decidiu. E chega no lugar errado porque atribui a um artefato uma capacidade que ele não tem. Algoritmos não decidem, calculam. A pergunta incômoda é outra: quem responde quando esse mecanismo falha. Enquanto a ética pergunta o que deveria acontecer, a governança pergunta quem decide, com base em qual evidência, quem responde pelo erro e como isso será monitorado. O compliance pergunta se o procedimento foi seguido. E a auditoria pergunta se existe evidência objetiva de que foi. Cada degrau responde a uma pergunta que o anterior não alcança, e nenhum deles é dispensável. Em 2019, Anna Jobin, Marcello Ienca e Effy Vayena, do ETH Zürich, publicaram na Nature Machine Intelligence o mapeamento de oitenta e quatro documentos de diretrizes éticas de IA, encontrando convergência global em torno de transparência, justiça, não maleficência, responsabilidade e privacidade. Os incidentes continuaram. Isso revela o que proponho denominar paradoxo do consenso: quanto mais abstrato o princípio, maior o acordo; quanto mais concreto o mecanismo, maior a divergência. O princípio funciona enquanto permanece vazio. A geração seguinte trocou o registro e focou no processo, com o marco do NIST, a ISO/IEC 42001 e o Regulamento europeu de IA. Trouxe avanços reais, mas deixou a verificação da conformidade com o próprio obrigado: no Regulamento, os sistemas de alto risco fora do domínio biométrico seguem, como regra, a rota do controle interno — rota cuja exigibilidade, aliás, o Omnibus Digital de IA acaba de adiar para dezembro de 2027, admitindo em seu considerando 2 que faltavam normas harmonizadas e organismos notificados. A União não adiou por julgar excessivas as exigências. Adiou porque ninguém estava ainda em condições de as verificar. Os números da fronteira agêntica são desconfortáveis. O 2025 AI Agent Index, coordenado a partir da Universidade de Cambridge e reunindo pesquisadores do MIT, de Stanford, de Harvard, da Pensilvânia, de Washington, da Universidade Hebraica de Jerusalém e da Concordia AI, documentou trinta agentes de ponta, com dados fechados em dezembro de 2025: vinte e cinco não fornecem detalhe algum sobre teste de segurança e vinte e três não apresentam qualquer dado de teste por terceiro. Divulga-se fartamente a capacidade e omite-se a segurança. Resta a objeção de sempre, a de que governança demais mataria a inovação. Ela é empiricamente frágil, porque não governar tem preço medido. O relatório anual da IBM com o Ponemon Institute, na edição de 2025, apurou média global de quatro milhões e quatrocentos e quarenta mil dólares por violação de dados, e registrou que sessenta e três por cento das organizações violadas não tinham política de governança de IA ou ainda a estavam elaborando. No setor público a escala é outra: o programa australiano Robodebt gerou passivo de reparação superior a dois bilhões e quatrocentos milhões de dólares australianos, e o tribunal de contas neerlandês estimou em cerca de oito bilhões de euros a reparação do escândalo do auxílio à infância. É também economicamente equivocada, porque inverte a causalidade observada no mercado. A conformidade virou condição de acesso, as seguradoras que subscrevem risco de IA no Lloyd’s passaram a exigir certificação independente do sistema, e o levantamento da McKinsey sobre confiança em IA, de março de 2026, com cerca de quinhentas organizações, apurou que a principal barreira ao escalonamento de sistemas agênticos é segurança e risco, à frente da incerteza regulatória. O que trava a escala não é a norma. É a falta de confiança verificável, que é o que a norma bem desenhada produz. No Brasil, o PL 2338/2023 aguarda parecer do relator na Comissão Especial da Câmara, adiado outra vez em junho, e o artigo 20 da LGPD segue sem regulamentação sobre revisão de decisões automatizadas: a pergunta de quem verifica ainda não tem, aqui, resposta institucional. Inovar nos produtos sem inovar nas instituições não é acelerar: é acumular passivo. Governar bem não é o preço do novo. É a sua condição de sustentabilidade e legitimidade. E a credibilidade de um sistema de inteligência artificial não decorre do que ele promete, nem do que o seu fornecedor declara, mas de quem o verifica, com que independência e contra que padrão. ********************************************* As opiniões expressas neste artigo não refletem, necessariamente, os posicionamentos da Abes.