Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Trillium Labs will riskante KI-Forschung öffentlich machen

Nathan Lambert und Tom Zick haben am 3. Oktober Trillium Labs gegründet. Die gemeinnützige Organisation will Experimente zu rekursiver Selbstverbesserung und KI-Agenten so dokumentieren, dass externe Wissenschaftler sie nachvollziehen können, berichtet WIRED.

KI & ModelleErklärtLena BrandtVeröffentlicht: 3. Oktober 20265 Min. LesezeitQuellen 9
Trillium Labs will riskante KI-Forschung öffentlich machen

Nathan Lambert und Tom Zick haben am 3. Oktober Trillium Labs gegründet. Die gemeinnützige Organisation will zu rekursiver Selbstverbesserung und KI-Agenten forschen. Die Details dieser Experimente sollen veröffentlicht werden, damit externe Wissenschaftler sie nachvollziehen können, schreibt WIRED.

Die Gründung fällt mitten in eine Debatte darüber, wie durchsichtig ein Labor sein sollte. Auf der einen Seite halten die führenden Entwickler ihre stärksten Modelle hinter einer App oder einer API verborgen. Auf der anderen Seite will eine wachsende Gruppe Trainingsläufe, Daten und Evaluierungen von außen lesbar machen. Lambert, früher Forscher bei Ai2 und Hugging Face, sagte WIRED, geschlossene Entwicklung führe „einen Schritt zurück“. Die wissenschaftliche Methode sei das bessere Werkzeug, um Schaden zu verringern.

Zick arbeitete zuvor an der Harvard University. Dort half sie Charles Schwab, Richtlinien für verantwortungsvolle KI zu entwickeln. Die Organisation wolle sich zunächst auf Post-Training konzentrieren, also die Feinabstimmung nach dem Aufbau eines großen Modells. Der zweite Bereich ist RSI, bei dem KI zur Forschung beiträgt, aus der neue Modelle entstehen.

Warum das Timing zählt

Es geht nicht um abstrakte Risiken. WIRED weist darauf hin, dass führende Modelle das Auffinden von Software-Schwachstellen automatisieren und Systeme ausspähen und hacken können. Jüngste spektakuläre Hacking-Serien haben die Frage verschärft, wer Zugang bekommt. Trilliums Antwort heißt Offenlegung statt Abschottung: So viel von der Methode veröffentlichen, dass andere Forscher die Behauptungen prüfen können.

Das ist nicht das einzige offene Lager. WIRED nennt Xiaomi, das kürzlich live Details eines großen Trainingslaufs mit einem seiner Modelle veröffentlichte. Auch Stanford-Forscher werden genannt, die ein Modell namens Marin öffentlich vortrainieren. Lambert gründete außerdem American Truly Open Models, eine Initiative, die US-Unternehmen zu mehr offenen Modellen drängen will. Die beiden lernten sich während der Pandemie als Doktoranden an der UC Berkeley kennen.

Die Wette des Labors: Ein gemeinsames Verständnis von Risiken ist besser als ein kleiner vertrauenswürdiger Kreis. Wenn Details zu Agenten und Selbstverbesserung veröffentlicht werden, können die Risiken kleiner werden oder einfach sichtbarer. Niemand in dem Artikel beantwortet diese Frage.

Metas sechs Paper

Unterdessen veröffentlichte die KI-Forschungseinheit von Meta am 3. Oktober ein anderes Modell von Offenheit. Sie brachte sechs Paper aus einer Zusammenarbeit mit Mathematikern heraus. Diese nutzten Muse Spark 1.1 und 1.2 im Thinking Mode über die normale meta.ai-Chatoberfläche, ohne eigene Forschungsinfrastruktur. Fünf der Paper liefern Antworten auf bisher offene Forschungsfragen, heißt es im Blog von Meta AI Research. Das Unternehmen kennzeichnet nach eigenen Angaben, welche Passagen vor allem von Forschern und welche von KI verfasst wurden. Auch die früheren Arbeiten, auf denen die Paper aufbauen, werden genannt.

Nach Abschluss unserer Arbeit erfuhren wir, dass andere Teams außerhalb von Meta unabhängig Lösungen für einige derselben Probleme mit anderen Ansätzen angekündigt hatten.

Dieser Satz aus dem Blog ist der nützliche Teil. Für das Problem der Gauß-Ellipsoid-Anpassung nennt Meta drei gleichzeitige Arbeiten: Misiakiewicz und Wen, de la Cerda, Potechin, Tulsiani und Xu sowie Koehler und Sohn. Die Ansätze unterscheiden sich und seien unabhängig entwickelt worden, heißt es im Blog. Metas erklärtes Ziel war nicht, Paper in Masse zu produzieren. Es war, Forschern zu Erkenntnissen zu verhelfen, auf denen andere aufbauen können.

Das Retrieval-Problem darunter

Wenn KI bei der Forschung helfen soll, muss sie zuerst die richtige frühere Arbeit finden. Genau das misst ein am 3. Oktober veröffentlichter Benchmark namens ScholarCatalyst. Dafür ließen die Autoren 184 Erstautoren von 207 aktuellen Informatik-Papern bewerten, welche Kandidaten ihre Projekte vorangebracht haben oder hätten voranbringen können, jeweils mit Begründung. Anschließend stellten sie eine Retrieval-Aufgabe, beschränkt auf Literatur, die zum Start des jeweiligen Projekts verfügbar war.

Die Ergebnisse sind bescheiden. Agentisches Suchen erreichte 0,42 Recall@20 gegenüber 0,48 bei einfachem Embedding-Retrieval, obwohl der Agent denselben Retriever als Werkzeug aufrief. Ein Agent auf Basis von Claude Fable 5.1 kam nur auf 0,51 R@20. Dieses Modell könnte die fertigen Paper während des Trainings gesehen haben. Der Korpus umfasste 191.000 Paper.

Diese Lücke ist wichtig für Aussagen über automatisierte Entdeckungen. Die Autoren argumentieren, dass es weiterhin eine menschliche Fähigkeit ist, das Paper zu finden, das eine halbfertige Idee öffnet. Aktuelle Systeme können das nicht.

Der Blick an den Schreibtisch

Abseits der Forschungsfront zeigt sich dasselbe Muster im Alltag. Ein Entwickler beschrieb am 3. Oktober, wie er etwa vier Stunden brauchte, um einen 36-Bilder-Film im 35-mm-Format zu scannen und zu bearbeiten. Dann übergab er die Aufgabe einem Agenten. Beim ersten Versuch steuerte Claude den Scanner über SANE mit vertauschten X- und Y-Richtungen der Scanfläche und hätte fast den Getriebemechanismus beschädigt. Der Autor behielt VueScan für die Aufnahme und automatisierte die Verarbeitung danach. Stauberkennung und Farbkorrektur übernehmen jetzt Code und Modelle. Ein leeres erstes Bild dient als Referenz, um die Farben über den Film zu gewichten.

Nichts davon ist Laborautomation im Sinne der Schlagzeilen. Es ist aber derselbe Handel: Ein Mensch entscheidet, was sich lohnt, und Software übernimmt die wiederholbare Mitte. Die Geschichte der Academy of Natural Sciences liest sich umgekehrt. Die Drexel University teilte am Dienstag mit, dass das Museum am 30. September schließt. Es ist seit 1828 geöffnet und beherbergt mehr als 19.000.000 Exemplare. Der letzte Tag mit regulären Öffnungszeiten ist Sonntag, der 27. September. Die Behörden nannten Besucherzahlen, die sich von der Pandemie nie erholt haben. Die Sammlungen bleiben für die Forschung zugänglich.

Trillium Labs ist der jüngste Test des offenen Ansatzes und der am wenigsten erprobte. Die ersten Veröffentlichungen werden zeigen, ob Transparenz bei Agenten und Selbstverbesserung Prüfung erzeugt oder nur mehr Material zum Streiten.

Kommentare 0

Quellen

9
  1. 01AI Experts Want to Do High-Stakes Research Out in the OpenEN
  2. 02Solving Open Research Problems TogetherEN
  3. 03ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
  4. 04Automating my 35mm film scanning pipelineEN
  5. 05Academy of Natural Sciences is shutting down its museum after nearly 200 yearsEN
  6. 06Some topics are off limits inside popular Chinese-made free AI, researchers findEN
  7. 07EventMaxxer – Automatically apply to events to get you in the right roomEN
  8. 08Swiss scientist soils underpants, wins silly science prizeEN
  9. 09PL research is dead, the age of PL exploration is just beginningEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.