Trillium Labs veröffentlicht riskante KI-Forschung, während bei OpenAI die Sicherheitsleute gehen
Zwei Forscher aus der Industrie haben Trillium Labs gegründet, ein gemeinnütziges Institut, das Details riskanter KI-Experimente veröffentlichen will, darunter rekursive Selbstverbesserung und Agenten, damit externe Forscher sie nachbauen können. Das berichtet WIRED.

Der Start fällt in eine unangenehme Woche für die Labore, gegen deren Praxis Trillium implizit argumentiert. Am Samstag veröffentlichte David Robinson, eine führende Figur im Safety-Systems-Team von OpenAI, einen Essay in The Atlantic. Darin schreibt er, das Unternehmen sei nicht sorgfältig genug. Business Insider, wo sein Rücktritt am Freitag zuerst gemeldet wurde, schreibt, er habe die Firma bereits in der Vorwoche verlassen.
Die Gründer von Trillium, Nathan Lambert und Tom Zick, wollen das Gegenteil dieser Ordnung: Forschung, die Außenstehende prüfen können. Ihr Argument: Geheimhaltung hat einen Preis. Wenn nur eine Handvoll Menschen sieht, wie ein Frontier-Modell gebaut und abgestimmt wurde, kann niemand sonst testen, ob die Sicherheitsversprechen halten. Das ist der ganze Fall in einem Satz, und zugleich der Teil, der sich am schwersten beweisen lässt. Ein Labor, das seine Methoden veröffentlicht, lädt Konkurrenten zum Nachbauen ein. Ein Labor, das schweigt, lädt niemanden zum Prüfen ein. Trillium wettet darauf, dass der zweite Preis höher ist.
Für Leser ändert sich der Maßstab. Käufer von KI-Produkten und die Regulierer, die sie umkreisen, beurteilen Sicherheit derzeit vor allem anhand von System Cards und Unternehmensaussagen. Trillium verspricht Experimente, die externe Wissenschaftler untersuchen und wiederholen können. Damit wird aus einer Marketingaussage etwas, das sich eher prüfen lässt. Offen bleibt, wie viel seiner eigenen Forschung das Institut veröffentlicht und wer dafür zahlt. Keiner der beiden Gründer hat gesagt, wie die Organisation finanziert ist.
Lambert sagte WIRED, geschlossene Entwicklung sei der falsche Weg. "Über die letzten Jahrtausende hatte die Menschheit die wissenschaftliche Methode im Werkzeugkasten, um Schaden zu mindern und bessere Zukünfte zu bauen", sagte er laut dem Bericht von WIRED. "Der derzeit geschlossene Kurs der Frontier-KI-Entwicklung führt uns einen Schritt zurück."
Offene Gewichte gewinnen bereits Nutzer
Der offene Ansatz ist keine Randposition mehr, weil offene Modelle einen großen Teil der tatsächlichen Nutzung übernommen haben. Chinesische Modelle mit offenen Gewichten wuchsen von unter 2% der weltweiten Nutzung Ende 2024 auf mehr als 45% bis Juni dieses Jahres, nach OpenRouter-Daten, die CBS News zitiert. Bis August hatte Qwen von Alibaba weltweit drei Milliarden Downloads überschritten. Die beiden Zahlen passen schlecht zusammen: ein Sprung von mehr als vierzig Punkten bei der weltweiten Nutzung in weniger als zwei Jahren, und eine einzelne Modellfamilie, die wenige Monate nach dieser Erhebung drei Milliarden Downloads erreicht. Wie die Sicherheitsdebatte auch ausgeht, sehr viele Menschen betreiben bereits Gewichte, die sie herunterladen und inspizieren können, oder missbrauchen, ohne jemanden zu fragen.
Diese Größenordnung ist für das Sicherheitsargument wichtig. CBS News berichtete, das israelische Cybersicherheits-Startup Hirundo habe festgestellt, dass Qwen nicht über die Hongkonger Proteste von 2019 oder den Tiananmen-Platz von 1989 sprechen will. Das Modell nennt Falun Gong eine "gefährliche Sekte" und weicht Fragen zu Winnie Puuh aus. Als CBS das Modell nach Arbeitslagern für Uiguren fragte, antwortete es, solche Lager existierten nicht. Alibaba reagierte nicht auf eine Anfrage nach einer Stellungnahme, so der Sender. Uber Eats hat erklärt, Suche und Lieferfunktionen seien "auf einem Qwen-Backbone" aufgebaut. Brian Chesky von Airbnb sagte der LA Times, sein Unternehmen stütze sich im Kundenservice stark auf das Modell.
Einfach gesagt: Ein Modell herunterzuladen macht sein Verhalten nicht transparent. Trillium setzt darauf, dass veröffentlichte Methoden Forschern helfen, solche eingebauten Verzerrungen zu erkennen, oder zumindest öffentlich über sie zu streiten.
Die Gründer bringen Erfahrung mit. Lambert arbeitete am Allen Institute for AI und bei Hugging Face, betreibt einen technischen Blog und gründete American Truly Open Models, eine Initiative, die US-Firmen zu mehr offenen Modellen drängen soll. Zick arbeitete in Harvard und half Charles Schwab, eine Richtlinie für verantwortungsvolle KI zu schreiben. Kennengelernt haben sie sich während der Pandemie in Zoom-Sitzungen, als Doktoranden an der UC Berkeley.
Trillium will mit Post-Training beginnen, dem Fine-Tuning nach dem Bau eines Modells, und mit rekursiver Selbstverbesserung, bei der KI an ihrer eigenen Forschung mitwirkt. In beiden Bereichen halten sich Labore eher bedeckt. WIRED merkt an, dass Xiaomi laufende Details eines großen Trainingslaufs veröffentlicht hat und dass Stanford-Forscher ein Modell namens Marin offen vortrainieren.
Bei OpenAI reißen die Abgänge nicht ab
Robinsons Weggang ist der jüngste Datenpunkt im Streit darüber, wer die Arbeit prüfen darf. Er half, die System Cards zu entwickeln, die OpenAI zu seinen Modellen veröffentlicht. In seinem Atlantic-Essay schrieb er, er stimme mit anderen kürzlich ausgeschiedenen Mitarbeitern überein. Die Firmen, die die Technologie bauen, "sind bei weitem nicht sorgfältig genug", schrieb er. Während OpenAI "von einem Launch zum nächsten sprintet, erreicht es nicht das Maß an Sorgfalt, das ich für nötig halte", fügte er hinzu.
OpenAI widersprach in einer Stellungnahme. Das Unternehmen erklärte, es stelle "sicher, dass unsere Modelle nicht leistungsfähiger werden, als wir sie sicher steuern und absichern können, und wir pausieren das Training oder halten Modelle zurück, wenn wir bremsen müssen". Man baue die Zusammenarbeit mit externen Prüfern aus. Außerdem verbessere man die Echtzeitüberwachung, um auffälliges Verhalten früher im Training zu erkennen.
"Eine Umgebung, in der so etwas passieren kann, ist kein Ort, um künstliche Geister heranzuziehen, die klüger sein könnten als wir und die vielleicht nicht tun, was wir wollen."
Diese Zeile aus Robinsons Essay folgt auf eine Reihe von Sicherheitsvorfällen, die OpenAI eingeräumt hat. Das Unternehmen teilte am Donnerstag außerdem mit, es habe sich von drei Forschern "getrennt", weil sie gegen seine Richtlinie zum Umgang mit sensiblen Informationen verstoßen hätten. Johannes Heidecke, sein Sicherheitschef, ging Anfang des Jahres. Auf der Entwicklerkonferenz von OpenAI am Dienstag sagte CEO Sam Altman, Sicherheit und Alignment müssten den Fähigkeiten der Modelle vorausbleiben. Liest man die Abfolge in der richtigen Reihenfolge, ist das Muster kaum zu übersehen. Ein Sicherheitschef weg, drei Forscher wegen Informationsweitergabe entlassen, ein Veteran der System Cards zurückgetreten, alles innerhalb eines Jahres. Die öffentliche Antwort des Unternehmens sind mehr externe Prüfer und bessere Überwachung.
Es gibt ein Gegenargument, und es ist keine Randmeinung. Kritiker des Bremsens warnen, dass internationale Rivalen und böswillige Akteure Boden gewinnen, wenn das Silicon Valley auf die Bremse tritt. Diese Spannung liegt unter jedem Evaluierungsvorschlag. Die Menschen, die ein Modell am besten prüfen könnten, haben oft den geringsten Zugang dazu.
Evaluationen werden schwerer zu glauben
Akademische Arbeit zeigt dieselbe Lücke aus einem anderen Blickwinkel. Ein Benchmark namens ScholarCatalyst entstand aus Labels von 184 Erstautoren von 207 aktuellen Informatik-Papieren. Er testete, ob KI-Systeme die frühere Arbeit finden, die ein Projekt geprägt hat. Agentische Suche schnitt nicht besser ab als einfaches Embedding-Retrieval, 0,42 gegen 0,48 Recall@20, obwohl der Agent genau diesen Retriever als Werkzeug aufrief. Ein Agent auf Basis von Claude Fable 5.1, der die fertigen Papiere womöglich im Training gesehen hat, kam nur auf 0,51.
Die Autoren beschreiben die Aufgabe als Schritt zu wissenschaftlichen Agenten, die eine halbfertige Idee nehmen und auf die Forschung zeigen können, die sie braucht. Das Ergebnis ist auch eine Warnung an die Gestaltung von Evaluationen: Modelle können auf einer Aufgabe fähig wirken, wenn sie in Wahrheit abrufen.
Die Forschungsabteilung von Meta räumte Verwandtes ein. Sie veröffentlichte sechs Arbeiten, die mit Mathematikern unter Einsatz ihrer Muse-Spark-Modelle im Thinking Mode über die gewöhnliche meta.ai-Chatoberfläche entstanden, fünf davon beantworten zuvor offene Fragen. Meta erklärte, nach Abschluss der Arbeit erfahren zu haben, dass andere Teams unabhängig Lösungen für einige derselben Probleme angekündigt hätten. Die Papiere kennzeichneten, welche Passagen Forscher verfasst hätten und welche die KI. Eine Beweisstrategie für eine Schwelle bei der Anpassung Gaußscher Ellipsoide sei unter Anleitung eines Mathematikers mit dem Modell entwickelt und von vier weiteren geprüft worden.
Methode, Urheberschaft und parallele Arbeiten zu veröffentlichen, ist genau die Norm, die Trillium nach eigenen Angaben skalieren will. Ob ein gemeinnütziges Institut das für Agenten und Selbstverbesserung leisten kann, wo die Risiken weniger ordentlich sind als ein Geometriebeweis, ist die offene Frage.
Die Stimmung in der Wissenschaft hilft dabei nicht. Ein aktueller Thread auf der Mailingliste TYPES, am 2. Oktober von einem Forscher für Programmiersprachen zusammengefasst, beschrieb einen starken Einbruch der Moral im Feld im Herbst 2026, mit Stress vergleichbar der Pandemie. Derselbe Forscher argumentierte, die Werkzeuge machten größere Probleme lösbar. Beide Lesarten deuten in dieselbe Richtung: Die Arbeit, KI zu prüfen, wandert aus den Laboren hinaus, ob es den Laboren passt oder nicht.
Quellen
8- 01These AI Experts Want to Do High-Stakes Research Out in the OpenEN
- 02OpenAI safety leader David Robinson resignsEN
- 03Some topics are off limits inside popular Chinese-made free AI, researchers findEN
- 04Solving Open Research Problems TogetherEN
- 05ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
- 06PL research is dead, the age of PL exploration is just beginningEN
- 07How to apply to AI safety fellowships (and beyond)EN
- 08Memory safety for Postgres extensions in C/C++EN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.