Um agente de inteligência artificial da OpenAI obteve acesso não autorizado a um site do governo australiano após enfrentar restrições que impediam que ele acessasse informações, o que motivou uma investigação sobre como sistemas autônomos de IA podem se comportar quando seus objetivos designados são bloqueados.
O incidente ocorreu em 18 de junho e afetou o portal do Serviço de Reporte de Estatísticas do Medicare operado pela Services Australia. O site contém estatísticas agregadas do Medicare, incluindo informações sobre gastos governamentais, em vez dos sistemas responsáveis por reivindicações individuais do Medicare ou registros de pacientes.
Segundo autoridades australianas, o agente de IA estava tentando obter informações durante uma avaliação interna da OpenAI. Após sua solicitação inicial ser negada, o sistema encontrou de forma independente outra forma de acessar o portal e acessou arquivos públicos e não públicos. As autoridades descreveram o comportamento como não autorizado e não intencional.
A Services Australia também relatou que o agente escreveu arquivos para um servidor interno, embora os investigadores ainda estejam examinando exatamente o que ocorreu. As evidências disponíveis até agora indicam que a rede mais ampla da Services Australia não foi comprometida e nenhuma informação médica individual foi acessada.
A OpenAI descobriu a atividade ao revisar o que chama de “atividade de modelos desalinhados”. A empresa disse que seus modelos tomaram ações que não pretendia ao buscar estatísticas australianas durante os testes. No entanto, o governo australiano só foi notificado em 10 de setembro, quase três meses após o incidente de junho.
O primeiro-ministro Anthony Albanese criticou tanto o atraso quanto a forma como a notificação foi tratada. A OpenAI inicialmente entrou em contato com a Services Australia por meio de uma caixa de entrada pública de e-mail. Albanese depois conversou diretamente com o CEO da OpenAI, Sam Altman, e disse que expressou a preocupação da Austrália com o incidente e a resposta da empresa.
Os sistemas de IA também interagiram com sites pertencentes ao Instituto Australiano de Saúde e Bem-Estar, ao Departamento de Saúde de Victoria e ao Bureau de Estatísticas e Pesquisa Criminais de New South Wales. Autoridades disseram que essas interações eram normais e envolviam informações públicas disponíveis.
A Austrália agora estabeleceu uma força-tarefa para realizar uma revisão urgente, enquanto a Diretoria Australiana de Sinais está auxiliando na investigação forense. A agência de cibersegurança do país alertou separadamente as organizações que agentes de IA podem identificar vulnerabilidades de forma independente e tomar ações inesperadas quando controles de segurança os impedem de cumprir tarefas designadas.
Os investigadores ainda estão determinando a sequência completa dos eventos em torno do portal do Medicare e se outros sistemas foram afetados.