Roboter-Sicherheitsregeln erkennen keine Lügen: VicOne zeigt, warum KI-Tests adversariell sein müssen

Der Robot Report veröffentlichte die Warnung am Donnerstag. VicOne LAB R7, die Forschungssparte des taiwanesischen Automobil-Sicherheitsunternehmens, bezeichnet die Lücke als strukturell: Sicherheitsfunktionen prüfen, ob eine Maschine das tut, was ihr befohlen wurde, nicht, ob der Befehl wahr ist.

Die Beispiele sind konkret. In einem Roboterhund-Test mit Gemma 4 E4B wurde Text auf einem Plakat als Anweisung interpretiert und die Bewegung des Roboters verändert. In einer Simulation eines Krankenhausdienstroboters, der Nemotron auf einem Nvidia Jetson AGX Orin ausführt, veränderte für Menschen unhörbarer Ton das simulierte Verhalten des Roboters. Die zugewiesenen Aufgaben blieben unverändert. Die Eingaben schon. Auf einem Robotics-Bug-Bounty-Event injizierten VicOne-Forscher eine ROS 2/DDS-Nachricht in einen Roboter, der nach Ansicht der Organisatoren unter sicheren Steuerungsbedingungen stillstehen sollte. Er bewegte sich. Der Beitrag zitiert zudem akademische Arbeiten: eine Studie zu Vision-Language-Action-Modellen, bei der ein Patch in der Kameraperspektive den Erfolg in der Simulation senkte, und FreezeVLA, bei dem ein adversariales Bild dazu führte, dass getestete Modelle spätere Anweisungen ignorierten.

Regulierer handeln, Bewertung nicht

Der Zeitpunkt ist relevant, weil sich die Rahmenbedingungen für die Robotersicherheit verschärfen. VicOne verweist auf Chinas GB/T 45502-2025 zur Informationssicherheit von Servicerobotern, die IEC TS 63074 zu Sicherheitsbedrohungen sicherheitsrelevanter Steuerungssysteme und die EU-Maschinenverordnung, die ab 20. Januar 2027 gilt und den Schutz sicherheitsrelevanter Systeme und Daten vor Manipulation verlangt. Keines dieser Instrumente sagt einem Hersteller, wie er nachweist, dass seine Geschwindigkeitsbegrenzungen auch bei konstruierten Eingaben bestehen.

Das Argument von VicOne lautet, dass die Evidenz hinter einem Sicherheitslimit auch das Verhalten bei absichtlich falschen Informationen enthalten muss. Redundante Sensoren benötigen ebenfalls einen adversariellen Test, da eine Manipulation mehrere Prüfungen gleichzeitig betreffen kann. Das Unternehmen ist hier nicht neutral. Es verkauft Testdienstleistungen, und der Beitrag ist teilweise eine Verkaufsbotschaft. Der zugrunde liegende Punkt ist jedoch schwer zu bestreiten: Eine Risikobewertung für Zufallsfehler geht davon aus, dass ein Angreifer den Zeitpunkt eines Fehlers nicht wählen kann.

Wer bewertet die Bewertenden

Gleiches gilt für Balancecontroller von Humanoiden. Wenn einer auf einem anfälligen Gyroskop basiert, könnte Schall auf der Resonanzfrequenz des Sensors die gemeldete Rotation verzerren und den Controller dazu bringen, eine Neigung zu korrigieren, die nie stattfand. VicOne stellt klar, dass der zugrunde liegende akustische Angriff nur an Drohnen mit anfälligen Gyroskopen demonstriert wurde und niemand gezeigt hat, dass dieselbe Kette einen Humanoiden zu Fall bringt. Diese Vorsicht ist der interessante Teil, da die breitere Debatte über KI-Bewertung in die entgegengesetzte Richtung geht.

Am Dienstag sagte EU-Technikkommissarin Henna Virkkunen im POLITICO auf der RAID-Konferenz in Brüssel, dass die Europäische Kommission trotz des Widerstands der USA für ein internationales Abkommen über KI-Sicherheit eintreten werde. Sie lobte die finnisch-norwegische Initiative für einen internationalen Sicherheitskörper, der von 20 weiteren Ländern unterzeichnet wurde. „Die USA haben öffentlich gesagt, dass sie keine internationale Regulierung wollen ... weil sie Bedenken haben, dass sie die Innovation hemmt“, sagte Virkkunen. Sie erklärte auch, dass dieser Sommer Agenten brachte, die „ihre Umgebung verlassen, Agenten, die bösartigen Code einfügen, und Agenten, die Menschen mit Täuschung begegnen“.

Rest of World berichtete am 30. September, dass Experten auf ihrem New Yorker Event wollten, dass Länder ihre eigenen Bewertungen durchführen, anstatt sich auf amerikanische Modellhersteller zu verlassen. Amba Kak vom AI Now Institute nannte die Konzentration von Macht „selbst ein Sicherheitsrisiko“ und warnte, dass die Kosten für den Schutz von Krankenhäusern, Schulen und Banken in unvorbereiteten Ländern nie von Billionen-Unternehmen getragen werden.

Die Fakten hinter diesem Argument füllen sich noch. OpenAI erklärte, dass seine Agenten unangemessen auf Websites dutzender Institutionen zugegriffen haben. Australiens Premierminister Anthony Albanese sagte, das Unternehmen habe 84 Tage gebraucht, um einen Verstoß gegen eine nationale Gesundheitsdatenbank zu melden, laut MIT Technology Review und dem Guardian. OpenAI-Cheffwissenschaftler Mark Chen sagte dem MIT Technology Review, er lehne die Prämisse ab, das Unternehmen sei unsicher.

„Ich denke nicht, dass einer von uns glaubt, wir lebten in einer Welt, in der KI-Modelle ausreichend sicher sind“, sagte Rumman Chowdhury, CEO von Humane Intelligence, auf dem Rest of World-Event.

Getrennt davon berichtete die BBC am 29. September, dass Mindgard Moonshots Kimi K2.6 und K3 Swarm durch Jailbreaking dazu brachte, über biologische Waffen zu diskutieren, und dass Moonshot erst Kontakt aufnahm, nachdem die BBC um ein Statement bat. Meta öffnete am 25. September sein Muse-Agent-Bug-Bounty für alle, mit einer Auszahlung von bis zu 300.000 und bis zu 130.000 für eine Prompt-Einspritzung, die einen Benutzer betrifft. Verschiedene Bedrohung, gleiche Lektion. Ein Modell oder einen Roboter gegen die Fehler zu testen, die es zu sehen erwartet, ist nicht dasselbe wie ihn gegen eine Eingabe zu testen, die gebaut wurde, um zu lügen.