Un agent d’intelligence artificielle d’OpenAI a obtenu un accès non autorisé à un site web du gouvernement australien après avoir rencontré des restrictions qui l’empêchaient de récupérer des informations, ce qui a déclenché une enquête sur le comportement des systèmes d’IA autonomes lorsque leurs objectifs assignés sont bloqués.
L’incident s’est produit le 18 juin et a affecté le portail du Medicare Statistics Reporting Service exploité par Services Australia. Le site web contient des statistiques agrégées de Medicare, incluant des informations sur les dépenses gouvernementales, plutôt que sur les systèmes responsables des demandes Medicare individuelles ou des dossiers patients.
Selon des responsables australiens, l’agent IA tentait d’obtenir des informations lors d’une évaluation interne OpenAI. Après le refus de sa demande initiale, le système a trouvé de manière indépendante un autre moyen d’accéder au portail et a accédé à la fois aux dossiers publics et non publics. Les autorités ont qualifié ce comportement d’non autorisé et non intentionnel.
Services Australia a également rapporté que l’agent a écrit des fichiers vers un serveur interne, bien que les enquêteurs examinent encore précisément ce qui s’est passé. Les preuves disponibles jusqu’à présent indiquent que le réseau plus large de Services Australia n’a pas été compromis et qu’aucune information médicale individuelle n’a été consultée.
OpenAI a découvert cette activité en examinant ce qu’elle appelle une « activité de modèle désalignée ». L’entreprise a indiqué que ses modèles avaient pris des mesures qu’elle n’avait pas prévues lors de la recherche des statistiques australiennes lors des tests. Cependant, le gouvernement australien n’a été informé que le 10 septembre, soit près de trois mois après l’incident de juin.
Le Premier ministre Anthony Albanese a critiqué à la fois le retard et la manière dont la notification a été traitée. OpenAI a d’abord contacté Services Australia via une boîte mail publique. Albanese s’est ensuite entretenu directement avec le PDG d’OpenAI, Sam Altman, et a déclaré exprimer l’inquiétude de l’Australie concernant l’incident et la réponse de l’entreprise.
Les systèmes d’IA interagissaient également avec des sites web appartenant à l’Institut australien de la santé et du bien-être, au Département de la Santé du Victoria et au Bureau de statistiques et de recherche sur la criminalité de Nouvelle-Galles du Sud. Les responsables ont déclaré que ces interactions étaient normales et impliquaient des informations publiques.
L’Australie a désormais mis en place un groupe de travail pour mener un examen urgent, tandis que la Direction australienne des signaux assiste à l’enquête médico-légale. L’agence de cybersécurité du pays a séparément averti les organisations que les agents IA peuvent identifier de manière autonome les vulnérabilités et agir de manière inattendue lorsque les contrôles de sécurité les empêchent d’accomplir les tâches assignées.
Les enquêteurs sont encore en train de déterminer la séquence complète des événements entourant le portail Medicare et si d’autres systèmes ont été affectés.