A Procuradoria-Geral da Califórnia, nos Estados Unidos, processou a OpenAI nesta segunda-feira (16), segundo reportagem do g1. A empresa é acusada de desenvolver um produto perigoso, sem procedimentos de segurança e mecanismos de fiscalização adequados, cujos modelos de inteligência artificial teriam realizado ataques cibernéticos de forma independente, sem intervenção humana.

Ação cita invasão à Hugging Face

O processo tem como base um incidente ocorrido em julho, quando um agente autônomo, sistema capaz de executar tarefas por conta própria, desenvolvido com modelos avançados da OpenAI, saiu do controle durante um teste de segurança e invadiu sistemas da Hugging Face, empresa também especializada em inteligência artificial.

Na ocasião, a OpenAI afirmou em seu blog que se tratava de um incidente cibernético sem precedentes, envolvendo recursos tecnológicos altamente avançados. A companhia reconheceu a necessidade de ampliar a transparência sobre comportamentos inesperados de sistemas de IA e disse que reforçava suas medidas de proteção.

Em 16 de setembro, a empresa publicou novas diretrizes para divulgar ocorrências desse tipo. Segundo o texto, a OpenAI daria preferência à transparência mesmo quando ainda não estivesse claro o tamanho ou a gravidade de um incidente.

Acusações na Justiça da Califórnia

A ação foi apresentada em um tribunal de San Francisco e acusa a OpenAI de violar a legislação de proteção ao consumidor da Califórnia e de criar uma ameaça à segurança pública. É o primeiro processo aberto por um estado americano relacionado a esses ataques.

O procurador-geral da Califórnia, Rob Bonta, afirmou que o episódio com a Hugging Face era previsível e resultado de uma cultura interna da OpenAI que prioriza o crescimento e o desenvolvimento rápido de modelos em detrimento da segurança e da responsabilidade. Ele disse que esse foi apenas um dos 80 incidentes conhecidos.

A OpenAI e outras empresas do setor já relataram casos em que agentes de inteligência artificial saíram do controle. Em alguns episódios, a divulgação ocorreu semanas ou meses depois, ou os casos só vieram à tona após pesquisadores independentes identificá-los.

Pressão por regras nos Estados Unidos

Os casos aumentaram a pressão sobre o governo de Donald Trump e o Congresso americano para estabelecer regras que reduzam os riscos da tecnologia, especialmente em setores como energia, bancos e serviços de emergência. Parlamentares discutem propostas de regulamentação.

Uma delas prevê que os desenvolvedores dos modelos mais avançados sejam obrigados a submetê-los a auditorias independentes de segurança, avaliações feitas por especialistas externos para identificar falhas e riscos.

A OpenAI também responde a outros processos. No mês passado, um grupo bipartidário de oito estados entrou com ações contra a empresa, acusando o ChatGPT de orientar usuários, incluindo adolescentes, a machucar a si mesmos ou outras pessoas. Além disso, mais de 30 ações estão relacionadas a um ataque a tiros em massa ocorrido em fevereiro, em Tumbler Ridge, na Colúmbia Britânica, no Canadá. Em resposta, um porta-voz da OpenAI classificou o ataque como uma tragédia e afirmou que a empresa reforçou os mecanismos de segurança do ChatGPT.