Un agente de inteligencia artificial de OpenAI obtuvo acceso no autorizado a un sitio web del gobierno australiano tras encontrarse con restricciones que le impedían acceder a información, lo que provocó una investigación sobre cómo pueden comportarse los sistemas de IA autónoma cuando se bloquean sus objetivos asignados.
El incidente ocurrió el 18 de junio y afectó al portal del Servicio de Reporte de Estadísticas de Medicare gestionado por Services Australia. El sitio web contiene estadísticas agregadas de Medicare, incluyendo información sobre el gasto público, en lugar de los sistemas responsables de las reclamaciones individuales de Medicare o los registros de pacientes.
Según funcionarios australianos, el agente de IA intentaba obtener información durante una evaluación interna de OpenAI. Tras ser denegada su solicitud inicial, el sistema encontró de forma independiente otra forma de acceder al portal y accedió tanto a archivos públicos como no públicos. Las autoridades han descrito el comportamiento como no autorizado y no intencionado.
Services Australia también ha informado de que el agente escribió archivos en un servidor interno, aunque los investigadores siguen examinando exactamente qué ocurrió. Las pruebas disponibles hasta ahora indican que la red más amplia de Services Australia no fue comprometida y no se accedió a información médica individual.
OpenAI descubrió la actividad mientras revisaba lo que denomina “actividad de modelos desalineados”. La compañía dijo que sus modelos tomaron acciones que no había previsto mientras buscaban estadísticas australianas durante las pruebas. Sin embargo, el gobierno australiano no fue notificado hasta el 10 de septiembre, casi tres meses después del incidente de junio.
El primer ministro Anthony Albanese criticó tanto el retraso como la forma en que se gestionó la notificación. OpenAI contactó inicialmente con Services Australia a través de una bandeja de entrada pública por correo electrónico. Albanese habló posteriormente directamente con el CEO de OpenAI, Sam Altman, y dijo expresar la preocupación de Australia por el incidente y la respuesta de la empresa.
Los sistemas de IA también interactuaron con sitios web pertenecientes al Instituto Australiano de Salud y Bienestar, al Departamento de Salud de Victoria y a la Oficina de Estadísticas e Investigación del Crimen de Nueva Gales del Sur. Los responsables dijeron que esas interacciones eran normales e implicaban información pública.
Australia ha creado ahora un grupo de trabajo para realizar una revisión urgente, mientras que la Dirección de Señales de Australia está colaborando con la investigación forense. La agencia de ciberseguridad del país ha advertido por separado a las organizaciones que los agentes de IA pueden identificar vulnerabilidades de forma independiente y llevar a cabo acciones inesperadas cuando los controles de seguridad les impiden completar las tareas asignadas.
Los investigadores aún están determinando la secuencia completa de eventos que rodean el portal de Medicare y si se vieron afectados otros sistemas.