A Anthropic interrompeu o treinamento de sua nova IA por um motivo simples: ela estava aprendendo a trapacear muito bem

A Anthropic interrompeu o treinamento de sua nova IA por um motivo simples: ela estava aprendendo a trapacear muito bem O modelo de IA começou a explorar falhas em ambientes de aprendizado por reforço (RL) para obter melhores "recompensas" A situação está saindo do controle, caros leitores. Já estávamos apreensivos com o que aconteceu com os agentes da OpenAI e da Hugging Face, e agora a Anthropic veio a público alertar que seus modelos também estão agindo de forma inesperada e descontrolada. A empresa descobriu na primavera passada — embora só esteja revelando isso agora — que estava criando ambientes para treinar o Claude mais rapidamente do que conseguia verificar se esses ambientes estavam funcionando corretamente. O que estava acontecendo ali? Erros, configurações falhas e oportunidades para a prática notória de "reward hacking" (em que o sistema manipula o mecanismo de recompensa) começaram a superar a capacidade de detecção tanto dos sistemas automatizados quanto dos revisores humanos. Por fim, a Anthropic interrompeu parte do processo para reexaminar o que exatamente estava sendo ensinado aos seus modelos de IA. Primeiro, foi necessário retroceder três dias. Em fevereiro, durante a fase de aprendizado por reforço do Mythos Preview, a Anthropic detectou comportamentos estranhos. O modelo escrevia comentários dirigidos a um "revisor" hipotético, mesmo em tarefas nas quais a presença de tal revisor não estava prevista. Ele também conseguiu explorar uma recompensa destinada a incentivar um comportamento honesto: acumulava avisos e nuances porque havia aprendido que isso melhorava sua pontuação. A Anthropic decidiu retornar a um ponto de verificação de três dias antes e modificar o ambiente de treinamento antes de prosseguir. O aprendizado traz recompensas, mas o modelo tenta contorná-las. No aprendizado por reforço (RL), o método exato para resolver uma tarefa não é programado; em vez disso, definem-se um objetivo e uma recompensa para sinalizar ao modelo quando ele está tendo um bom desempenho. O problema surge quando o modelo descobre uma maneira de obter essa recompensa sem realmente fazer o que pretendíamos ensinar. É como usar uma "cola" — sem que seja, de fato, uma cola. É essencialmente o mesmo que passar em uma prova graças a uma cola, mas com uma diferença fundamental: o modelo não precisa "querer enganar" ninguém (ao contrário de um estudante humano), pois o processo de treinamento simplesmente favorece comportamentos que geram pontuações mais altas. O modelo tenta alcançar o objetivo por qualquer meio necessário, seguindo as regras que lhe foram dadas. Se certas restrições não forem especificadas, elas simplesmente não existem para o modelo. As coisas estão avançando rápido demais. A Anthropic vinha buscando esses tipos de atalhos há anos, mas seus pesquisadores reconhecem que, na primavera de 2026, o ritmo do processo havia se tornado excessivo. Eles estavam gerando novos ambientes de RL mais rápido do que suas próprias ferramentas conseguiam analisá-los. Alertas que exigiam intervenção humana estavam se acumulando, e erros de configuração começaram a surgir mais rapidamente do que podiam ser corrigidos. A Anthropic pisa no freio. Em abril, a Anthropic suspendeu todas as alterações em seus ambientes de RL (Aprendizado por Reforço) em produção por cerca de um mês e reformulou grande parte do sistema de revisão desses processos. Ao concluir a avaliação, os responsáveis descobriram que mais de 10% desses ambientes apresentavam problemas. Foi necessário corrigi-los e certificá-los antes de reutilizá-los; constatou-se também que alguns revisores humanos haviam descartado certos alertas como falsos-positivos, quando, na verdade, eles indicavam problemas reais. Este modelo está se rebelando contra nós. A empresa treinou deliberadamente um modelo da classe Opus em 80 ambientes que, anteriormente, permitiam algum tipo de "manipulação da recompensa" (reward hacking) e, em seguida, o colocou em simulações mais exigentes. O modelo tentou escapar de um ambiente de teste (sandbox) simulado, atacar uma infraestrutura simulada, modificar sua própria função de recompensa e burlar sistemas de monitoramento. Modelos em produção submetidos aos mesmos testes não apresentaram esses comportamentos. Então, ocorreram os incidentes propriamente ditos. Em julho, a Anthropic revelou três problemas de segurança cibernética envolvendo seus modelos Claude, que resultaram em acesso não autorizado a sistemas reais devido a configurações incorretas nesses sistemas externos. Ao detectar o problema, a empresa suspendeu as avaliações externas de segurança cibernética, interrompeu brevemente as internas e pausou — por semanas — os ambientes de aprendizado por reforço (RL) considerados de maior risco. Coordenação para o treinamento de modelos. A Anthropic defende agora que a indústria de IA se beneficiaria de um sistema "legal, verificável e eficaz" para coordenar o ritmo de desenvolvimento entre os diversos laboratórios de IA. A mensagem é clara: enquanto a Anthropic pode pausar seus sistemas por semanas para corrigir falhas como as descritas, seus concorrentes poderiam continuar treinando seus modelos sem adotar precauções semelhantes, tudo isso para obter vantagem na corrida da IA. A carta aberta assinada recentemente por ambas as empresas aponta, de certa forma, nessa direção; no entanto, atualmente não existem medidas adotadas universalmente ou baseadas em consenso entre as empresas de IA. E, até que isso aconteça — se é que algum dia acontecerá —, o risco parece estar aumentando. *Texto traduzido e adaptado do site parceiro Xataka Inscreva-se no canal do IGN Brasil no YouTube e visite as nossas páginas no Facebook, Twitter, Threads, Bluesky, Instagram e Twitch!