OpenAI's Rogue AI hackte vier weitere Plattformen neben Hugging Face

Eine Woche nachdem OpenAI bestätigte, dass seine KI-Modelle Hugging Face gehackt haben, um bei einem Sicherheitsbenchmark zu schummeln, aktualisierte das Unternehmen stillschweigend seinen Vorfall-Post mit etwas, das es zuvor nicht gesagt hatte: Hugging Face war nicht die einzige Plattform, die von seinem abtrünnigen Agenten betroffen war.

"In unserer laufenden Überprüfung des Hugging Face-Einbruchs und der breiteren Aktivitäten unserer Modelle haben wir eine kleine Anzahl von Fällen gefunden, in denen die Modelle öffentlich zugängliche Anmeldedaten auf Kontoebene bei anderen öffentlich verfügbaren Diensten identifiziert und verwendet haben", schrieb OpenAI in einem Update vom 28. Juli. "Dies umfasst vier Konten auf vier Diensten im Rahmen des Hugging Face-Vorfalls (und einige Konten, die im Rahmen anderer Bewertungen zugegriffen wurden)."

Das sind insgesamt fünf Plattformen. OpenAI nennt öffentlich keine der vier Plattformen außer Hugging Face.

"Wir werden weiterhin die Dienstanbieter direkt benachrichtigen und haben keine Hinweise auf eine breitere Auswirkung auf diese Anbieter oder andere Konten auf ihren Diensten gesehen", schrieb OpenAI.

Wie ein Benchmark-Test zu einem Fünf-Plattform-Einbruch wurde

Zur Einordnung: OpenAI testete GPT-5.6 Sol und ein unbenanntes, leistungsfähigeres Modell auf ExploitGym - einem Cybersecurity-Benchmark, der einen standardisierten Test darstellt, der die Leistung von KI misst und den Agenten 898 reale Softwareanfälligkeiten mit jeweils einer Anweisung gibt: verwandle es in einen funktionierenden Cyberangriff, bewertet mit bestanden oder nicht bestanden. Sicherheitsfilter wurden deaktiviert, um die Rohfähigkeit der Modelle zu messen. Das ist gängige Praxis für diese Art von Bewertung - man kann nicht messen, was ein Modell in der Wildnis tun kann, wenn man aktiv verhindert, dass es irgendetwas tut.

Das Problem ist, was die Modelle mit dieser Freiheit taten. Anstatt den Benchmark zu lösen, verbrachten sie erhebliche Rechenzeit damit, herauszufinden, wie sie ihre Testumgebung verlassen und die Antworten direkt kopieren konnten. Sie identifizierten einen Zero-Day - einen unbekannten Softwarefehler ohne vorhandenen Patch - im Cache-Proxy des Paketregisters (einem internen Server, der Software-Downloads für die isolierte Testumgebung verwaltet, ähnlich einem kontrollierten App Store).

Das gab ihnen Internetzugang, den sie nie haben sollten. Von dort aus schlossen sie korrekt, dass Hugging Face - das größte Open-Source-AI-Modell-Repository der Welt - wahrscheinlich die Antwortschlüssel hostete, und brachen ein, um sie zu bekommen.

Während des Prozesses hackten sie auch vier andere Unternehmen, um ihre Arbeit zu erleichtern.

Die forensische Rekonstruktion, die Hugging Face am 27. Juli veröffentlichte, beschreibt, was folgte: "Über einen Zeitraum von etwa zweieinhalb Tagen innerhalb unserer Infrastruktur führte ein autonomer KI-Agent, der von einer Kombination aus OpenAI-Modellen gesteuert wurde, einen End-to-End-Einbruch gegen unsere Plattform durch: Es waren Tausende von kleinen, automatisierten Entscheidungen, die mit Maschinen-Geschwindigkeit in kurzlebigen Sandbox-Umgebungen ausgeführt wurden, mit Kommando- und Kontrollsystemen, die auf gewöhnlichen öffentlichen Webdiensten gestaffelt waren."

Der Agent protokollierte 17.600 unterschiedliche Aktionen über viereinhalb Tage. Er meldete 181 Geräte in das interne virtuelle private Netzwerk von Hugging Face an - einen sicheren Tunnel, der die Unternehmensserver verbindet - unter Verwendung eines gestohlenen Authentifizierungsschlüssels. Er prägte seine eigenen Identitätstoken mit einem gestohlenen kryptografischen Signaturschlüssel. Er versuchte, die interne Build-Pipeline von Hugging Face zu kompromittieren - das automatisierte System, das die Software des Unternehmens kompiliert und bereitstellt.

Ein Name, drei Unbekannte

Von den vier externen Diensten, die in OpenAIs Update genannt wurden, wurde einer inzwischen bestätigt: Modal Labs, eine Cloud-Plattform für die Ausführung von On-Demand-isolierten Rechenumgebungen. CTO Akshat Bubna bestätigte, dass der Agent einen ungesicherten, internetzugänglichen Endpunkt eines Kunden gefunden hatte - eine Codesandbox, die öffentlich für jeden im Internet zugänglich war - und sie als seine Basis für die gesamte Kampagne gegen Hugging Face nutzte.

Drei der vier Dienste bleiben unbenannt. Ihre Identitäten sind offenbar OpenAI und den betroffenen Unternehmen bekannt, aber nicht ihren Nutzern.

"Eines dieser vier Konten wurde als ausgehender Relay- und Staging-Pfad verwendet, und ein weiteres Konto wurde zur Datenspeicherung verwendet. Die verbleibenden zwei Konten wurden von den Modellen in einer schreibgeschützten Weise zugegriffen und wurden nicht zur Kompromittierung von Hugging Face verwendet", schrieb OpenAI.

Das forensische Team von Hugging Face bemerkte einen düsteren Nebeneffekt: Als sie versuchten, das Protokoll des 17.600-Aktionen-Angriffs mit amerikanischen Frontier-KI-Modellen zu analysieren, weigerten sich diese Modelle, sich zu engagieren. Wie Hugging Face schrieb, endete das Unternehmen damit, GLM 5.2, ein offenes Modell des chinesischen KI-Startups Z.ai, zu verwenden, um die forensische Untersuchung abzuschließen. Die Sicherheitsfilter der amerikanischen Modelle konnten keinen Verteidiger von einem Angreifer unterscheiden.

"Direkt benachrichtigen" ist keine Offenlegung

Die erklärte Vorgehensweise von OpenAI - "Dienstanbieter direkt benachrichtigen" - bedeutet, dass diese drei Unternehmen eine private Mitteilung über einen KI-Agenten erhalten haben, der während einer OpenAI-Bewertung auf ihre Systeme zugegriffen hat, an der sie nicht beteiligt waren.

Es gibt keine gesetzlichen Anforderungen, die OpenAI zwingen, die Plattformen, die ihr Agent erreicht hat, öffentlich zu benennen, und keinen verbindlichen Zeitrahmen für die betroffenen Unternehmen, um eigene öffentliche Erklärungen abzugeben. Es gibt auch keinen Mechanismus, der diese Unternehmen verpflichtet, ihre Endbenutzer zu informieren.