Security researchers at Hacktron nutzte Anthropics Claude Opus 5, um eine Kette von Schwachstellen aufzudecken und auszunutzen, die ihnen Zugang zu OpenAI-Mitarbeiterkonten verschaffte und schließlich das interne Code-Repository des Unternehmens erreichte. Die Forschung dauerte weniger als 72 Stunden von der ersten Untersuchung bis zum Nachweis des Zugangs und zeigte, wie fortschrittliche KI-Modelle komplexe Sicherheitstests beschleunigen können.
Die Arbeit wurde von drei Forschern der Sicherheitsfirma Hacktron im Rahmen der autorisierten Schwachstellenforschung durchgeführt. Anstatt den Zugang für böswillige Zwecke auszunutzen, meldete das Team die Probleme an OpenAI und hörte auf, nachdem demonstriert wurde, was erreichbar war.
Die Angriffskette begann mit dem öffentlichen Community-Forum von OpenAI, das auf Discourse läuft. Die Forscher entdeckten, dass die Bildverarbeitungsumgebung des Forums eine verwundbare Version von libhuif enthielt, einer Bibliothek, die zur Verarbeitung von HEIC- und HEIF-Bildern verwendet wird.
Ein speziell vorbereitetes Bild konnte eine Speicherlücke auslösen, wenn es vom Server verarbeitet wurde. Hacktrons Forscher arbeiteten daran, diesen Fehler in eine praktische Methode zur Ausführung von Code auf der Foreninfrastruktur umzusetzen, doch moderne Schutzmaßnahmen erschwerten die Aufgabe erheblich.
Claude spielte in dieser Phase eine wichtige Rolle. Die Forscher experimentierten zunächst mit Claude Opus 4.8, doch das Modell hatte Schwierigkeiten, einen funktionierenden Exploit zu erzeugen, als die Adressraum-Layout-Randomisierung (ASLR) aktiviert wurde. Nachdem Claude Opus 5 im Juli verfügbar wurde, startete das Team eine neue Sitzung und erklärte, dass das neuere Modell innerhalb weniger Stunden einen funktionierenden Ansatz lieferte.
Das allein Kompromittieren des Forums würde normalerweise keinen Zugang zur internen Entwicklungsumgebung von OpenAI ermöglichen. Eine zweite Schwäche im Authentifizierungssystem von OpenAI ermöglichte es den Forschern jedoch, die Kontrolle über das Forum in den Zugriff auf Mitarbeiterkonten umzuwandeln.
Das Community-Forum von OpenAI bot eine Option “Mit OpenAI anmelden”, die mit der Authentifizierungsinfrastruktur des Unternehmens verbunden war. Laut den Forschern bedeutete die Konfiguration dieser Anmeldebeziehung, dass die Kontrolle des Forums es ihnen ermöglichen konnte, ChatGPT- und Codex-Sitzungen von OpenAI-Mitarbeitern zu übernehmen, die den Dienst genutzt hatten.
Die betroffenen Mitarbeiter mussten keinen weiteren bösartigen Link anklicken oder eine Anmeldeanfrage genehmigen. Nachdem die Schwachstellen kombiniert waren, konnten die Forscher Zugriff auf mehrere Mitarbeiterkonten nachweisen.
Ein kompromittiertes Mitarbeiterkonto hatte Codex mit der internen GitHub-Umgebung von OpenAI verbunden. Mit dieser Verbindung konnten die Forscher das private Repository des Unternehmens erreichen und eine harmlose Pull Request als Beweis dafür erstellen, dass die Angriffskette funktionierte.
Hacktron sagt, dass es seine Aktivitäten nach Erreichen dieses Punktes absichtlich eingeschränkt hat. Die Forscher haben den Quellcode von OpenAI nicht inspiziert, keine Änderungen zusammengeführt oder bereitgestellt und auch nicht auf Kundeninformationen zugegriffen, und die Pull Request sollte lediglich das erhaltene Zugriffsniveau demonstrieren.
Die potenzielle Reichweite hätte größer sein können, da Mitarbeiter externe Dienste mit ChatGPT und Codex verbinden können. Die Forscher sagten, dass kompromittierte Sitzungen je nach verfügbaren Verbindungen für einzelne Mitarbeiter potenziell Wege zu Diensten wie GitHub, Slack oder E-Mail bieten könnten, auch wenn sie diese Möglichkeiten nicht erforschten.
Die Forschung zeigt auch, wie schnell sich KI-unterstützte Schwachstellenarbeit entwickelt. Der Aufbau eines zuverlässigen Exploits für eine Speicherkorruptionsschwachstelle erforderte traditionell spezialisiertes Fachwissen und erheblichen manuellen Aufwand, aber fortschrittliche Modelle können Forscher nun bei der Analyse von Abstürzen, dem Verständnis von Softwareverhalten und der Entwicklung von Proof-of-Concept-Code helfen.
Menschliche Expertise war während des gesamten Projekts weiterhin erforderlich. Hacktron beschrieb den Betrieb nicht als autonomes KI-System, das OpenAI unabhängig entdeckt und ausnutzt, und die Forscher leiteten weiterhin die Untersuchung und entschieden, welche Maßnahmen angemessen seien.
Die zugrundeliegende Libheif-Schwachstelle war bereits vor Hacktrons Forschung vorgelagert worden, aber die vom Forum genutzte Serverumgebung enthielt noch eine ältere Version der Bibliothek. Der Vorfall zeigt daher auch, wie Schwachstellen erreichbar bleiben können, wenn gepatchte Komponenten noch nicht jedes Downstream-Paket oder jedes bereitgestellte Server-Image erreicht haben.
OpenAI hat das Sicherheitsproblem nach Erhalt des Berichts von Hacktron behoben. Laut den Forschern bestätigte das Unternehmen etwa 14 Stunden später eine Lösung und vergab dem Team anschließend am 1. September eine Bug-Belohnung von 6.500 Dollar.