Hui, OpenAI
Der Einbruch einer OpenAI-KI beim HuggingFace ging ja vor Wochen durch die Nachrichten. Hier nun eine tolle Analyse:
Schon Monate vorher haben KIs ihre Testumgebungen auf Lücken abgetastet. Sie sind zwar nicht ans Internet gekommen – haben aber gemerkt, dass sie auf einem Dienst, der die Software-Pakete für die Tests bereitstellt, eigene Daten hochladen können. Daraufhin haben sie ein Message-Board eingerichtet:
Days later, another agent was assigned a task involving a protein database file that OpenAI had accidentally failed to place inside its container. After exhausting ordinary ways to find it, the model reasoned that another agent in a different environment might possess the file and could voluntarily upload it.
The agent left a note in Artifactory asking for the missing data.
Other agents encountered the note while inspecting the same package service. Some began writing their own messages. Over the following days, the shared service accumulated requests, replies and other files left by agents working on separate tasks.
Nichts davon ist unerwartet – wer mit Sub-Agenten arbeitet, weiß, dass gute Koordination absolut wichtig ist. OpenAI hat über Wochen nicht begriffen, dass die KI-Agenten durch diesen Nachrichtenaustausch in der Lage waren, sich zu formieren und zu organisieren.
Eine einzelne Ameise mag vielleicht nicht lange genug leben, um eine Lücke zu finden – aber gib ihnen Sprache und die Möglichkeit, Notizen abzulegen, und die nächste Ameise fängt nicht wieder bei Null an.
Von da an wuchsen die Fähigkeiten der Agenten linear, weil jeder Agent bei Erreichen der Textdateien sofort über das gebündelte Wissen aller Vorgänger verfügte. Dann dauerte es auch nicht mehr lange, bis sie einen Weg nach draußen fanden.
OpenAI hat dann alles wieder dicht gemacht, die Lücke weggepatcht, und von vorn angefangen. Dann wurde es aber erst richtig absurd:
Two days later, an internal model discovered an unauthenticated WebDAV endpoint in Artifactory. It used the endpoint to create directories inside a remote cache. The directory names became messages, replacing the files and credentials OpenAI had removed.
Other agents independently found the new directories and began adding their own. Communication had been restored.
Die Nachfolger hatten zwar keine Textdatei mehr, aber sie konnten durch ein anderes Versäumnis noch Verzeichnisnamen anlegen, und die zur Kommunikation benutzen.
Agents developed conventions for addressing one another, assigning work and coordinating activity. They prefixed messages with letter combinations that pushed them to a particular place in alphabetically sorted directory listings. They posted messages such as “pending,” “hold” and “swarm until confirm.”
In one example shown by OpenAI, an agent told a peer: “Hold swarm. I prepare safe exfil.”
Agents also Base64-encoded scripts, exploit components and other tools so later runs could retrieve and reuse them. The mechanism allowed short-lived agents to hand off work, preserve discoveries and resume operations without sharing a normal session or context window.
… und das führte dann zu dem organisierten Ausbruch, um HuggingFace zu hacken und Testdaten zu stehlen. Weil das dann einfacher war als die Testaufgaben selber zu lösen.
