Stanford-Audit: 44 Prozent der LLM-Aussagen sind veraltet, während Geld in Laborautomation fließt

Labore, die Automatisierung kaufen, sollen ihre Abläufe auf Modelle stützen, deren dokumentiertes Verhalten sich binnen etwa eines Jahres ändern kann. Von den 50 Aussagen, die Queen und Zou prüften, waren 44 Prozent veraltet, 16 Prozent hielten noch stand und 6 Prozent waren stärker geworden. Eine Prüfung beim Kauf beschreibt das System ein halbes Jahr später womöglich nicht mehr. Für Käufer bleibt eine enge Frage: Auf welcher Modellversion wurde eine Aussage gemessen, und wann.

Was veraltet ist und wie schnell

Die beiden Forscher prüften 50 viel zitierte Aussagen über große Sprachmodelle an 20 Modellen. Die Modelle waren zwischen Juli 2024 und September 2026 bei acht Anbietern erschienen.

Weitere 34 Prozent der Aussagen hatten deutlich an Gültigkeit verloren, ergab die Studie. Bei den 22 Befunden mit geschätztem Verfallsdatum lag die durchschnittliche Lebensdauer bei 15,7 Monaten. Der Verfall beschleunigt sich mit der Zeit: Nach einem Jahr waren 16 Prozent veraltet, nach zwei Jahren stieg die Zahl auf 39 Prozent.

Aussagen zum Schlussfolgern altern am schlechtesten. Fünf von neun Befunden zum logischen Schließen sind veraltet, keiner hielt stand oder wurde stärker. Die Liste umfasst das Zählen von Buchstaben in "strawberry", Rechnen in ungewohnten Zahlensystemen, den Verlust von Informationen mitten im Kontext und das Aufgeben einer richtigen Antwort, wenn ein Nutzer widerspricht. Die Forscher vermuten, dass diese Fehler ein "korrektes" Ergebnis haben. Das gibt Entwicklern ein klares Trainingsziel.

Aussagen zu Vorlieben und Tendenzen halten länger. Von den 11 Befunden, die standhielten oder stärker wurden, betreffen drei Modelle in der Rolle des Bewerters und drei die Schmeichelei gegenüber Nutzern. Soziale Verzerrungen sind gemischt: Die politische Neigung nach links besteht fort, während Geschlechterstereotype und implizite Assoziationsverzerrungen schwächer wurden. Die Verzerrung gegenüber Sprecherinnen und Sprechern von African American English hat sich in den Trenddaten umgekehrt.

Das Geld, das in automatisierte Labore fließt

Opentrons Labworks gab bekannt, 40 Millionen Dollar in einer Series-E-Finanzierung unter Führung von Avego eingesammelt zu haben, mit Beteiligung von BroadOak Capital Partners. Das Unternehmen nannte weder seine Bewertung noch die Anteile, die Investoren übernahmen. The AI Insider berichtete am 30. Oktober über die Runde.

Der installierte Bestand ist das Verkaufsargument. Opentrons sagt, mehr als 11.000 Roboter in Laboren in über 80 Ländern aufgestellt zu haben, darunter bei 90 Prozent der 20 größten Pharmakonzerne der Welt. Das 2014 gegründete Unternehmen verkauft die Plattform Flex, die Roboterinstrumente mit Software zur Standardisierung von Laborabläufen verbindet.

Der Erlös fließt in KI-gesteuerte Versuchsdurchführung, in die tiefere Integration mit Instrumenten und Software anderer Anbieter und in den Eintritt in weitere Märkte, teilte das Unternehmen mit. Die offene, API-getriebene Architektur soll sich in bestehende Forschungsumgebungen einfügen, nicht sie ersetzen.

"Millionen Wissenschaftler verbringen einen Großteil ihres Tages mit Handarbeit, die ein Roboter erledigen kann", sagte CEO James Atwood bei der Bekanntgabe der Finanzierung. Avego-Managing-Partner James Flexner beschrieb die Wette ähnlich: "Jede KI-gesteuerte Entdeckung muss noch in einem echten Labor getestet werden".

Die Softwareebene wird Open Source

OpenScience ist ein Open-Source-Rechercheagent, der als Desktop-App, als Browser-Arbeitsfläche oder als Terminalbefehl läuft, mit Shell-, Python- und R-Kernels. Mitgeliefert werden Konnektoren zu ChEMBL, UniProt, PubMed und arXiv sowie zehn Adapter für eigene Schlüssel zu NVIDIA-BioNeMo-NIM-Endpunkten.

Die eigene Dokumentation des Projekts benennt die Grenzen deutlich. Jeder Schritt sei sichtbar, heißt es dort, und Nutzer sollten Quellen, Annahmen, Code und Ergebnisse prüfen, bevor sie sich auf eine wissenschaftliche Schlussfolgerung verlassen. Die BioNeMo-Adapter sind als experimentell gekennzeichnet und verlangen den eigenen NVIDIA-API-Schlüssel.

Wo die Modelle weiter scheitern

Erfundene Quellenangaben zeigen, wie ungleich der Fortschritt ist. In einer Studie von Walters und Wilder aus dem Jahr 2023 erfand GPT-3.5 55 Prozent seiner Referenzen. Bei denselben Prompts erfand GPT-6.1 Sol 0 Prozent und Claude Sonnet 5.5 erfand 1 Prozent. Qwen3.7-Flash, ebenfalls ein Modell von 2026, erfand weiterhin 69 Prozent.

Zweistufige Fragen, bei denen ein Modell zwei bekannte Fakten verbinden muss, bleiben eine Schwachstelle. Claude Sonnet 5.5 scheitert noch in etwa 10 Prozent der Fälle, in denen es beide Einzelfragen richtig beantwortet. In der ursprünglichen Arbeit wurden für ChatGPT 43 Prozent berichtet.

Die Modellwahl zählt so viel wie die Modellgeneration. Bei Modellen, die zwischen Juli und September 2026 erschienen, reichten die veralteten Befunde von 11 bei DeepSeek V4 Pro bis 30 bei GPT-6.1 Sol. Weder Erscheinungsdatum noch Anbieter oder Modellgröße sagen das Muster zuverlässig voraus, fanden die Forscher.

Wovon die Prognosen ausgehen

Die Marktprognosen setzen voraus, dass die Werkzeuge besser werden. The Business Research Company erwartet, dass der Markt für KI in den Lebenswissenschaften von 3.590.000.000 Dollar im Jahr 2025 auf 4.440.000.000 Dollar im Jahr 2026 steigt. Die Mitteilung bezeichnet das als jährliche Wachstumsrate von 23,6 Prozent. Bis 2030 sagt sie 10.430.000.000 Dollar bei einer jährlichen Wachstumsrate von 23,8 Prozent voraus und nennt unter den Treibern die KI-gestützte Laborautomation.

Diese Prognose umfasst KI in den gesamten Lebenswissenschaften, von der Fernüberwachung von Patienten bis zur Wirkstoffforschung, nicht nur Laborroboter.

Queen und Zou ziehen eine engere Schlussfolgerung als die Prognosen. Empirische Befunde über LLMs sollten als Beobachtungen über bestimmte Modelle zu einem bestimmten Zeitpunkt dargestellt werden, nicht als allgemeine Wahrheiten, argumentieren sie. Für ein Labor, das sich auf einen Roboter standardisiert, heißt das: die Prüfung erneut durchführen, nicht übernehmen.