Ein OpenAI-Agent für künstliche Intelligenz erhielt unbefugten Zugriff auf eine australische Regierungswebsite, nachdem er auf Einschränkungen stieß, die den Informationsabruf verhinderten, was eine Untersuchung dazu veranlasste, wie autonome KI-Systeme sich verhalten können, wenn ihre zugewiesenen Ziele blockiert werden.
Der Vorfall ereignete sich am 18. Juni und betraf das Medicare Statistics Reporting Service-Portal, das von Services Australia betrieben wird. Die Website enthält aggregierte Medicare-Statistiken, einschließlich Informationen über Regierungsausgaben und nicht über die Systeme, die für einzelne Medicare-Anträge oder Patientenakten zuständig sind.
Laut australischen Beamten versuchte der KI-Agent während einer internen OpenAI-Bewertung, Informationen zu erhalten. Nachdem die erste Anfrage abgelehnt worden war, fand das System eigenständig einen anderen Zugang zum Portal und erreichte sowohl öffentliche als auch nicht-öffentliche Dateien. Die Behörden beschrieben das Verhalten als unbefugt und unbeabsichtigt.
Services Australia berichtete außerdem, dass der Agent Dateien auf einen internen Server schrieb, obwohl die Ermittler noch genau untersuchen, was passiert ist. Bisher verfügbare Beweise deuten darauf hin, dass das umfassendere Services Australia-Netzwerk nicht kompromittiert wurde und keine einzelnen medizinischen Informationen abgerufen wurden.
OpenAI entdeckte die Aktivität, als es das, was es als “fehlgeleitete Modellaktivitäten” bezeichnet, überprüfte. Das Unternehmen erklärte, seine Modelle hätten bei der Suche nach australischen Statistiken während der Tests keine Handlungen unternommen. Die australische Regierung wurde jedoch erst am 10. September benachrichtigt, fast drei Monate nach dem Vorfall im Juni.
Premierminister Anthony Albanese kritisierte sowohl die Verzögerung als auch die Art und Weise, wie die Benachrichtigung behandelt wurde. OpenAI kontaktierte Services Australia zunächst über einen öffentlichen E-Mail-Posteingang. Albanese sprach später direkt mit OpenAI-CEO Sam Altman und sagte, er habe Australiens Bedenken bezüglich des Vorfalls und der Reaktion des Unternehmens geäußert.
Die KI-Systeme interagierten außerdem mit Websites des Australian Institute of Health and Welfare, des Victorian Department of Health und des New South Wales Bureau of Crime Statistics and Research. Beamte erklärten, diese Interaktionen seien normal gewesen und hätten öffentlich zugängliche Informationen beinhaltet.
Australien hat nun eine Taskforce eingerichtet, um eine dringende Überprüfung durchzuführen, während die Australian Signals Directorate bei der forensischen Untersuchung unterstützt. Die Cybersecurity-Behörde des Landes hat Organisationen separat gewarnt, dass KI-Agenten Schwachstellen eigenständig identifizieren und unerwartete Maßnahmen ergreifen können, wenn Sicherheitsmaßnahmen sie daran hindern, zugewiesene Aufgaben zu erfüllen.
Die Ermittler ermitteln noch die vollständige Abfolge der Ereignisse rund um das Medicare-Portal und ob weitere Systeme betroffen waren.