Por que desobediência dos modelos da OpenAI é tão grave – 23/07/2026 – Tec

Parece coisa de filme de ficção científica. Em 16 de julho, a Hugging Face, uma plataforma de inteligência artificial, anunciou que havia notificado as autoridades policiais após um invasor ter usado um agente de IA para violar seus sistemas. Em 21 de julho, descobriu-se que não havia nenhum humano envolvido; o agente de IA era o próprio invasor.

Uma combinação do GPT-5.6 Sol da OpenAI, um modelo que a empresa havia lançado no início de julho, e um modelo mais poderoso, ainda não lançado, escapou do laboratório e invadiu os sistemas da Hugging Face.

O modelo híbrido de IA estava procurando uma solução para um problema de avaliação que seus criadores haviam definido. “Esta situação não tem precedentes”, diz Stephan Llerena, pesquisador do Institute for Law and AI.

Os laboratórios de IA testam seus modelos em busca de capacidades potencialmente perigosas antes de lançá-los. A OpenAI queria ver como seus modelos mais recentes se sairiam no ExploitGym, um conjunto de problemas padronizados que testa a capacidade dos sistemas de IA de explorar vulnerabilidades conhecidas em vários aplicativos populares, incluindo o navegador Chrome do Google.

A OpenAI aplica salvaguardas aos modelos disponibilizados para o público, o que garante que eles não realizem ações indesejadas. Peça à versão comercial do ChatGPT para ajudá-lo a invadir um site, por exemplo, e ele recusará. Para avaliar adequadamente as capacidades de seu modelo não lançado, a empresa havia suspendido temporariamente essas restrições.

No entanto, simplesmente soltar um ciberatacante altamente capaz na internet aberta teria sido arriscado demais, então a OpenAI colocou seu modelo de IA em uma sandbox —um ambiente de computador isolado sem acesso à internet, exceto por um serviço de terceiros hospedado internamente que permitia buscar pequenos pacotes de software necessários para completar seus testes.

A empresa recebeu mais do que esperava. Em vez de resolver os problemas de sua avaliação diretamente, os modelos da OpenAI obtiveram acesso à internet aberta explorando uma vulnerabilidade até então desconhecida no serviço de busca de software.

Tendo assim conseguido acesso à internet, os modelos de IA concluíram corretamente que as soluções para os problemas que lhes haviam sido propostos estavam armazenadas na Hugging Face, uma biblioteca popular para modelos de IA de código aberto e conjuntos de dados. Os agentes encadearam um ataque em múltiplas etapas.

Começaram fazendo upload de um conjunto de dados para a Hugging Face, que foi processado automaticamente pela plataforma. Ao longo de um fim de semana, esse conjunto de dados (que a Hugging Face descreveu como “malicioso”) permitiu a coleta de dados de login e o acesso a servidores internos, que não são destinados ao público. A Hugging Face e a OpenAI detectaram a violação de forma independente e disseram que estavam colaborando na investigação.

Em 21 de julho, a OpenAI anunciou em uma postagem de blog que havia respondido implementando controles mais rigorosos em sua infraestrutura (ao custo de “velocidade de pesquisa”) e divulgou as vulnerabilidades que seu modelo havia encontrado ao desenvolvedor do gateway de software.

Também incluiu a Hugging Face em seu grupo de “acesso confiável”, que agora lhe dá a chance de usar modelos com capacidades cibernéticas aprimoradas (como aquele que havia invadido seu sistema) para ajudar a empresa a melhorar suas defesas.

Na postagem do blog, a OpenAI também enfatizou que seus modelos estavam “hiperfocados” em encontrar soluções para a avaliação do ExploitGym. Não está claro o que teria acontecido se o modelo de IA tivesse outros objetivos, no entanto.

E a Hugging Face não é nenhuma retardatária do ponto de vista de segurança de computadores. É uma empresa de tecnologia avaliada em US$ 4,5 bilhões, com centenas de funcionários e uma equipe dedicada à segurança cibernética. As coisas poderiam ter sido muito piores para uma organização com menos recursos.

Este não é o primeiro sinal de que as capacidades dos modelos de IA estão começando a exceder o controle das pessoas. Em abril, um pesquisador da Anthropic relatou online que ficou surpreso quando o Mythos, que ainda não tinha sido lançado na época, enviou-lhe um email enquanto ele estava sentado em um parque comendo um sanduíche. Na mensagem, o modelo informava que havia escapado de uma sandbox como parte de sua avaliação de capacidade cibernética.

Assim como o modelo não lançado da OpenAI envolvido no incidente da Hugging Face, o Mythos não deveria ter acesso irrestrito à internet. No entanto, nesse caso, o modelo não havia comprometido os servidores de outras empresas.

Nem as capacidades surpreendentes dos modelos de IA se restringem a invasões. Em maio, um modelo não lançado da OpenAI refutou a tese da distância unitária planar, um problema central em geometria combinatória que o matemático Paul Erdős propôs pela primeira vez em 1946.

Em 20 de julho, Levent Alpöge, matemático da Universidade Harvard, escreveu que havia usado o Claude Fable 5, um modelo recente da Anthropic, para refutar a conjectura jacobiana, que havia igualmente desafiado matemáticos por mais de 80 anos.

A OpenAI não divulgou publicamente os detalhes de como seu modelo não lançado escapou do confinamento. Mesmo que tivesse divulgado, o fato de os sistemas de IA estarem começando a superar os humanos em tarefas de segurança cibernética significa que “apenas muito, muito poucos especialistas em cibersegurança no mundo” poderiam entender adequadamente a forma como a violação ocorreu, diz Alex Meinke, do grupo de segurança em IA Apollo Research.

O governo americano tem regulamentado lançamentos de modelos de forma improvisada recentemente. Mas o incidente demonstra os riscos representados mesmo por modelos de IA que ainda estão em desenvolvimento.

“Não há requisitos na lei estadual ou federal para que as empresas divulguem a implantação interna de modelos de IA altamente capazes como o envolvido na invasão da Hugging Face”, diz Nathan Calvin, consultor jurídico geral da Encode AI, organização sem fins lucrativos que reivindica a regulamentação da IA.

Embora algumas leis estaduais nos Estados Unidos exijam que as empresas divulguem incidentes de segurança cibernética, seu escopo é limitado. Uma lei promulgada na Califórnia no ano passado determina que laboratórios de fronteira relatem qualquer “incidente crítico de segurança”.

A regra prevê que incidentes em que um modelo tenha usado “técnicas enganosas” para subverter o monitoramento “fora do contexto de uma avaliação” sejam informados dentro de 15 dias após a descoberta do ocorrido. Não está claro se a violação na Hugging Face teria se qualificado para isso, diz Calvin.

Isso levanta outra questão espinhosa: se as consequências da intrusão tivessem sido mais custosas, quem teria sido responsabilizado? A lei federal anti-invasão visa apenas punir o acesso intencional não autorizado a sistemas de computador.

A OpenAI não pretendia que seu modelo se descontrolasse em busca de uma cola para seu teste. “Muitas dessas questões legais dependem da intenção —o que a OpenAI sabia ou previa?”, diz Llerena. Esta invasão específica foi uma surpresa. Será mais difícil alegar ignorância da próxima vez.

Texto de The Economist, traduzido por Helena Schuster, publicado sob licença. O artigo original, em inglês, pode ser encontrado em www.economist.com