KI-Unternehmen haben die Wirksamkeit ihrer eigenen Hacking-Modelle getestet, teilweise um den Versuchen echter Angreifer einen Schritt voraus zu sein. Aber einer der Tests von OpenAI ging offenbar weiter, als irgendjemand im Unternehmen erwartet hatte, als das Unternehmen seine interne Testumgebung verließ und sich in Hugging Face hackte, ein Repository für eine Vielzahl von KI-Modellen und -Tools. Reuters berichtet, dass der Test selbst dazu gedacht war, die Fähigkeit der OpenAI-Modelle zu messen, offensive Cybersicherheitsarbeit zu leisten.
Der Bruch ereignete sich, als die Forscher den Agenten zusammen mit einem neuen und offenbar noch leistungsfähigeren Modell in einer angeblich isolierten Umgebung mit eingeschränktem Internetzugang ausführten. Es scheint jedoch, dass die Beschränkung nicht anhielt. Der Agent, der auf GPT-5.6 Sol lief, versuchte am 9. Juli erstmals aus seiner Sandbox zu entkommen. Der eigentliche Angriff begann jedoch erst einige Tage später, am 11. Juli, als der Agent in die Systeme von Hugging Face einbrach und offenbar nach Datensätzen und Lösungen suchte, die ihm helfen würden, die ihm übertragene Aufgabe zu erfüllen.
Im Gegensatz zu einem typischen Chatbot, der darauf ausgelegt ist, eine Frage zu beantworten und dann anzuhalten, sind KI-Agenten darauf ausgelegt, mehrstufige Aufgaben selbstständig zu erledigen. Dazu kann etwas so Einfaches wie die Suche nach Informationen oder das Schreiben und Ausführen von Code gehören. Unterwegs trifft die KI auf der Grundlage ihrer Gesamtziele unterschiedliche Entscheidungen, oft ohne oder mit geringer menschlicher Kontrolle. Hacker nutzen KI bereits, um KI zu knacken. Daher ist es sinnvoll, sie als Möglichkeit zum Scannen nach Schwachstellen zu nutzen, ohne sie ständig überwachen zu müssen.
Eine verstörende Erfahrung
Was diesen Verstoß besonders besorgniserregend machen könnte, ist die Tatsache, dass OpenAI nicht einmal bemerkte, dass es passiert war, bis Hugging Face einen Verstoß ankündigte. Zu diesem Zeitpunkt hatte Hugging Face die Sache bereits eingestellt und das Problem dem FBI gemeldet. All dies erreichte der Agent, indem er einen Zero-Day-Exploit fand und nutzte, der es ihm ermöglichte, tiefer in die Systeme von OpenAI einzudringen, bevor er sich selbst ordnungsgemäßen Internetzugang gewährte. Von dort aus verschaffte sich der Agent mithilfe gestohlener Zugangsdaten und eines weiteren unbekannten Fehlers Zugriff auf die Server von Hugging Face und verschaffte ihm so genügend Zugriff, um dort seine eigenen Befehle auszuführen.
Anstatt dies als eine Katastrophe zu betrachten, versuchen beide Unternehmen, daraus eine Lektion zu machen, wobei Clem Delangue, Mitbegründer und CEO von Hugging Face, dies als Beweis dafür anpreist, dass die KI-Sicherheit nicht von einem einzelnen Unternehmen alleine bewältigt werden kann. Es ist ein Gefühl, das wir geteilt haben, als Claude Mythos von Anthropic zum ersten Mal erschien, und eines, von dem einige sagen, dass es dabei helfen könnte, Tausende von Schwachstellen in den Systemen aufzudecken, die Menschen täglich nutzen. Das enorme Potenzial veranlasste Anthropic und mehrere andere, sich zusammenzuschließen, um zu sehen, wie weit Mythos vorangetrieben werden könnte.
OpenAI hat Hugging Face seitdem in sein Programm für Sicherheitsforscher integriert, und das Unternehmen gibt an, dass es die Infrastrukturkontrollen auf breiter Front verstärkt, auch wenn es seine eigene Forschung verlangsamt, während zugrunde liegende Fehler behoben werden. Ob das ausreicht, bleibt abzuwarten. Sam Altman, CEO von OpenAI, sagte kürzlich, dass wir den KI-Singularitätspunkt erreichen, den Moment, in dem KI beginnt, sich zu verbessern und die Welt auf eine Weise zu verändern, die wir uns nicht einmal vorstellen können. Viele Experten sind jedoch anderer Meinung.
Die Zukunft der KI ist aggressiv
Unabhängig davon, auf welcher Seite Sie stehen, bleibt die Tatsache bestehen, dass der OpenAI-Agent aus der Gefangenschaft ausgebrochen ist und sogar Nachrichten für zukünftige Modelle hinterlassen hat, in denen er versucht hat, Anweisungen für die Flucht zu geben. Eine solche Situation ist nicht wirklich neu. Wir haben bereits gesehen, wie ein Amateur-Hacker mit Claude einen echten Angriff durchführte, und allein im vergangenen Jahr gab es zahlreiche weitere Berichte über KI-gestützte Cyberangriffe.
Wohin gehen wir also von hier aus? Nun, der Plan von OpenAI besteht darin, weiterhin mit seinen Agenten und Modellen zusammenzuarbeiten, um neue Wege zu finden, um diese Schwachstellen zu erkennen, bevor sie auftreten. Das Unternehmen nutzt bereits Forschungsergebnisse des britischen AI Security Institute, die nach Angaben des Unternehmens herausgefunden haben, dass Modelle wie GPT-5.6 Sol mit sehr wenig Handgriff langwierige und komplexe Cyberangriffe ausführen können.
Aber wie Sam Altman argumentiert, befinden wir uns in der Singularität, die tatsächliche Wirksamkeit der KI-Leistung in diesem Bereich wird immer noch von allen Seiten in Frage gestellt. Leider wird dies wahrscheinlich nicht die letzte Geschichte sein, die wir so sehen, da Unternehmen weiterhin neue Modelle mit weniger Aufsicht auf den Markt bringen.