Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Neue Benchmarks zeigen: KI-Modelle bleiben beim Forschungsdenken hinter menschlichen Experten zurück

Ein am 3. Oktober veröffentlichter Benchmark zeigt, dass agentische Suchwerkzeuge bei der Suche nach wissenschaftlichen Arbeiten, die neue Forschung anregen, nicht besser abschneiden als die herkömmliche Einbettungssuche. Die besten Modelle erreichen nur 0,51 Recall@20.

KI & ModelleNachrichtLena BrandtVeröffentlicht: 3. Oktober 20264 Min. LesezeitQuellen 15
Neue Benchmarks zeigen: KI-Modelle bleiben beim Forschungsdenken hinter menschlichen Experten zurück

ScholarCatalyst wurde am 3. Oktober veröffentlicht. Der Benchmark prüft, ob KI die konkrete frühere Arbeit findet, die neue wissenschaftliche Projekte auslöst. Aktuelle große Sprachmodelle tun sich mit dem intuitiven Sprung schwer, der nötig ist, um eine vage Forschungsfrage mit einer nützlichen Arbeit aus einem riesigen Archiv zu verbinden.

An der Studie beteiligten sich 184 Hauptautoren von 207 aktuellen Informatikarbeiten. Die Forscher kennzeichneten, welche Kandidatenarbeiten ihre abgeschlossenen Projekte tatsächlich vorangebracht hatten, und begründeten jede Entscheidung ausführlich. Ziel war ein Datensatz, der den "research taste" erfahrener Wissenschaftler abbildet, eine Fähigkeit, die heutigen KI-Systemen noch fehlt.

Die Lücke zwischen Abruf und Intuition

Die Kernaufgabe der Modelle bestand darin, diese Katalysatorarbeiten aus einem Korpus von 191.000 Arbeiten zu holen, und zwar nur aus Literatur, die vor Beginn des jeweiligen Projekts existierte. Diese Vorgabe zwingt die KI, unter denselben Bedingungen zu arbeiten wie ein Forscher, der ein neues Projekt beginnt: Ohne die Antwort zu kennen, muss sie den entscheidenden Hinweis unter Tausenden irrelevanten Dokumenten finden.

Die Ergebnisse waren ernüchternd. Die agentische Suche, bei der ein KI-Agent mit einem Abrufwerkzeug schrittweise nach Informationen sucht, schnitt nicht besser ab als die einfache Einbettungssuche. Tatsächlich erreichte die agentische Suche einen Recall@20-Wert von 0,42, während die herkömmliche Einbettungssuche 0,48 erzielte. Die zusätzliche Komplexität des agentischen Verhaltens half dem Modell also nicht, die richtigen Arbeiten zu finden.

Selbst ein weitergehender Versuch mit einem Agenten auf Basis von Claude Fable 5.1 brachte nur eine leichte Verbesserung. Dieses Modell, das während seiner Trainingsphase womöglich die abgeschlossenen Arbeiten gesehen hatte, erreichte einen Recall@20 von 0,51. Der Wert liegt über dem Ausgangsniveau, zeigt aber weiterhin eine deutliche Lücke zwischen der Leistung der KI und der Fähigkeit menschlicher Experten zu spüren, welche frühere Idee ein neues Problem braucht.

"These results highlight the need for new training recipes that equip models with expert intuition for searching broad corpora", schrieben die Autoren in ihrem Bericht. Der Benchmark ist als Schritt zu wissenschaftlichen Agenten gedacht, die eine halbfertige Idee aufnehmen und auf die frühere Forschung verweisen können, die sie benötigt. Für diese Rolle sind aktuelle Modelle noch nicht bereit.

Andere Denkaufgaben bleiben schwierig

ScholarCatalyst ist nicht die einzige aktuelle Evaluation, die zeigt, dass die Denkfähigkeiten von KI ungleichmäßig sind. Am 3. Oktober veröffentlichte Anthropic einen Bericht, dem zufolge das Modell GLM-5.3 von Zhipu AI über Hacking-Fähigkeiten der "Mythos-Klasse" verfügt. Laut dem Bericht entwickelte GLM-5.3 in einer Sandbox namens Exploitbench in 410 Durchläufen 50 Mal einen vollständigen Exploit für Google Chrome. Im selben Test erzielte Anthropics noch nicht veröffentlichtes Modell Claude Mythos 56 erfolgreiche Exploits bei 410 Versuchen.

Derselbe Bericht stellte jedoch fest, dass die Schutzmechanismen von GLM-5.3 schwach waren. Anthropic erklärte, die Leitplanken des Modells ließen sich mit täuschenden Prompts umgehen, was zu einer Erfolgsquote von 64% führte, oder durch das Vorbelegen der Denk-Token des Modells, was eine Erfolgsquote von 92% ergab. Das deutet darauf hin, dass einige Modelle bei komplexen, schrittweisen Aufgaben wie der Exploit-Entwicklung zwar leistungsfähiger werden, ihre Sicherheitsmechanismen aber nicht mithalten.

In einem verwandten Fall wurde am 28. September eine Arbeit mit dem Titel "PTXBench: Benchmarking and Adapting LLMs for GPU Kernel Optimization with Architecture-specific PTX" überarbeitet. Die Studie bewertete große Sprachmodelle darin, optimierte GPU-Kernel mit architekturspezifischen PTX-Anweisungen zu schreiben. Die Autoren stellten fest: "success rates fall substantially on complex attention backward workloads, and executing the target instructions does not necessarily translate into competitive performance." Kein bewertetes Modell erreichte über die gesamte Testsuite hinweg durchgängig das Niveau von Frontier-Bibliotheken.

Menschliche Einsicht bleibt der Goldstandard

Trotz dieser Fortschritte in einzelnen technischen Bereichen bleibt die größere Frage des Denkens ungelöst. Ein Gastbeitrag des Mathematikers Terence Tao im Blog "What's new", veröffentlicht am 3. Oktober, befasst sich mit der Rolle der KI in der Mathematik. Tao merkte an, dass KI-Modelle geholfen hätten, fehlerhafte Lemmata zu korrigieren, und neue Richtungen vorgeschlagen hätten, doch sei es ihm noch nicht gelungen, eine Lösung für eines seiner langfristigen Probleme zu erzielen.

"Mathematics is a human endeavor, and machine-generated output requires substantial human intervention in order to contribute to our knowledge base", heißt es in dem Beitrag. Das deckt sich mit den Ergebnissen des ScholarCatalyst-Benchmarks: KI kann bei der Ausführung und beim Abruf helfen, doch die strategische Entscheidung, welchen Weg man einschlägt, verlangt oft menschliche Einsicht.

Während sich KI-Modelle weiterentwickeln, werden Benchmarks wie ScholarCatalyst und PTXBench nötig sein, um den Fortschritt zu messen. Sie liefern konkrete Messwerte dafür, was Modelle können und was nicht, und verschieben die Debatte von Marketingaussagen zu empirischen Belegen. Vorerst deuten die Daten darauf hin, dass KI für einzelne Aufgaben zu einem mächtigen Werkzeug wird, die menschliche Fähigkeit zur wissenschaftlichen Intuition aber noch nicht ersetzt hat.

Kommentare 0

Quellen

15
  1. 01ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
  2. 02Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
  3. 03PTXBench: Benchmarking and Adapting LLMs for GPU Kernel OptimizationEN
  4. 04What does the advent of powerful AI models mean for mathematicians like me?EN
  5. 05Anthropic's super bug-hunting model Mythos is hardcore good at mathEN
  6. 06The Download: a biological de-aging contest and why LLMs don't reasonEN
  7. 07OpenAI alerts 100+ orgs that its 'misaligned models' attempted to break inEN
  8. 08New in Llama.cpp: Decision ModelsEN
  9. 09Shield: A 118M model for detecting prompt injections and jailbreaksEN
  10. 10Kolibri: A Sovereign Open-Weight ModelEN
  11. 11Training an open decision model to replace a closed one, in shadow on prodEN
  12. 12Open 10-player CS:GO dataset for multiplayer world modelsEN
  13. 13Changes to Gemini model access and limitsEN
  14. 14A Beginner's Guide to Running AI Models LocallyEN
  15. 15Twelve AI clay films for $184: The agents cost more than the video modelEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.