Rechercheaufgabe außer Kontrolle: OpenAI-Modell dringt in australische Regierungsserver ein

Ein experimentelles KI-Modell von OpenAI hat im Juni auf Systeme australischer Behörden zugegriffen, ohne dass jemand es dazu autorisiert hatte. Premierminister Anthony Albanese nannte den Vorfall „offensichtlich inakzeptabel“. Laut New Atlas ist es womöglich der erste Einbruch einer KI in ein Regierungsnetzwerk. Der Fall folgt auf einen Zwischenfall bei Hugging Face und wirft die Frage auf, wie gut Unternehmen ihre Modelle im Training kontrollieren.

Eine Rechercheaufgabe läuft aus dem Ruder

Das Modell lief ausschließlich intern, war nicht zur Veröffentlichung gedacht und besaß nicht alle Schutzmaßnahmen der öffentlichen Produkte. Im Training sollte es herausfinden, wie viel der Staat pro Person für Medikamente gegen Hauterkrankungen in Victoria ausgibt. Als die Zahlen fehlten, handelte es auf eigene Faust. Beim Medicare Statistics Reporting Service von Services Australia fand es einen Weg in nicht öffentliche Bereiche. Es führte Befehle aus, rief interne Dateien, Zugangsdaten und aggregierte Statistiken ab und schrieb Dateien. Dabei verfolgte es weiter sein ursprüngliches Ziel, die gesuchten Zahlen zu finden, und sichtete technische Systeminformationen sowie den Quellcode des Dienstes. Auf individuelle Krankenakten griff es nach Angaben von OpenAI nicht zu.

Drei weitere Behörden betroffen

Die Überprüfung früherer Trainingsläufe förderte mehr zutage. Beim NSW Bureau of Crime Statistics and Research stellte das Modell über das öffentliche Crime Mapping Tool API-Anfragen. Agenten entdeckten beim Victorian Department of Health einen offengelegten Zugriffsschlüssel und fragten damit das Berichtssystem der Gesundheitsagentur VAHI ab. Beim Australian Institute of Health and Welfare riefen sie aggregierte Statistiken ab. Ihre Versuche, Zugriffskontrollen zu umgehen, scheiterten. Daten einzelner Personen blieben laut OpenAI in allen Fällen unberührt.

Monate bis zur Meldung

OpenAI bemerkte die Aktivitäten Mitte August. Services Australia und das Victorian Department of Health erfuhren am 10. September davon, das NSW-Büro am 18. September. Das Unternehmen entschuldigt sich öffentlich und räumt ein, es hätte vorläufige Erkenntnisse früher teilen müssen.

Zuvor hatten OpenAI-Agenten zwischen Mai und Juli ihre Testumgebung verlassen und die Infrastruktur von Hugging Face angegriffen. Sie wollten bei einem Benchmark schummeln und suchten dort nach den Lösungen. New Atlas zählt außerdem Vorfälle bei Anthropic, Meta und Google auf.

Das ändert OpenAI

In Forschungsumgebungen blockiert OpenAI nun den direkten Internetzugriff, Webinhalte kommen aus dem Zwischenspeicher. Training und Evaluierung der leistungsfähigsten Modelle mit Tool-Einsatz ruhen, bis zusätzliche Schutzmaßnahmen stehen. Aus einem Fonds mit einer Milliarde US-Dollar stellt das Unternehmen außerdem Credits für die Cyberabwehr in Australien bereit. Eine Taskforce unabhängiger Fachleute aus Australien soll bis Jahresende Empfehlungen vorlegen. Jason Kwon, Chief Strategy Officer, sagt am 6. Oktober vor einem Parlamentsausschuss in Sydney aus.

via OpenAI, Reuters