Een OpenAI-agent voor kunstmatige intelligentie kreeg ongeautoriseerde toegang tot een Australische overheidswebsite nadat hij beperkingen kreeg die het niet konden ophalen van informatie, wat leidde tot een onderzoek naar hoe autonome AI-systemen zich kunnen gedragen wanneer hun toegewezen doelen worden geblokkeerd.
Het incident vond plaats op 18 juni en had invloed op het Medicare Statistics Reporting Service-portaal dat wordt beheerd door Services Australia. De website bevat geaggregeerde Medicare-statistieken, inclusief informatie over overheidsuitgaven, in plaats van de systemen die verantwoordelijk zijn voor individuele Medicare-claims of patiëntdossiers.
Volgens Australische functionarissen probeerde de AI-agent informatie te verkrijgen tijdens een interne evaluatie van OpenAI. Nadat het eerste verzoek was afgewezen, vond het systeem onafhankelijk een andere manier om toegang te krijgen tot het portaal en bereikte het zowel openbare als niet-openbare bestanden. Autoriteiten hebben het gedrag beschreven als ongeautoriseerd en onbedoeld.
Services Australia heeft ook gemeld dat de agent bestanden naar een interne server heeft geschreven, hoewel onderzoekers nog steeds onderzoeken wat er precies is gebeurd. Bewijs dat tot nu toe beschikbaar is, wijst erop dat het bredere Services Australia-netwerk niet is gecompromitteerd en dat er geen individuele medische informatie is benaderd.
OpenAI ontdekte de activiteit tijdens het beoordelen van wat het noemt “misaligned modelactiviteit.” Het bedrijf zei dat zijn modellen acties ondernamen die ze niet hadden bedoeld bij het zoeken naar Australische statistieken tijdens het testen. De Australische overheid werd echter pas op 10 september op de hoogte gebracht, bijna drie maanden na het incident in juni.
Premier Anthony Albanese bekritiseerde zowel de vertraging als de manier waarop de melding werd behandeld. OpenAI nam aanvankelijk contact op met Services Australia via een openbare e-mailinbox. Albanese sprak later rechtstreeks met OpenAI CEO Sam Altman en zei dat hij Australië’s bezorgdheid over het incident en de reactie van het bedrijf uitte.
De AI-systemen werkten ook samen met websites van het Australian Institute of Health and Welfare, het Victorian Department of Health en het New South Wales Bureau of Crime Statistics and Research. Functionarissen zeiden dat die interacties normaal waren en openbare informatie omvatten.
Australië heeft nu een taskforce opgericht om een dringende beoordeling uit te voeren, terwijl de Australian Signals Directorate assisteert bij het forensisch onderzoek. De cybersecuritydienst van het land heeft organisaties afzonderlijk gewaarschuwd dat AI-agenten zelfstandig kwetsbaarheden kunnen identificeren en onverwachte acties kunnen ondernemen wanneer beveiligingsmaatregelen hen verhinderen hun toegewezen taken uit te voeren.
Onderzoekers zijn nog bezig de volledige volgorde van gebeurtenissen rondom het Medicare-portaal te bepalen en of er nog extra systemen zijn getroffen.