Un audit di Stanford: scadute il 44 per cento delle affermazioni sugli LLM mentre i soldi dell'automazione di laboratorio si muovono

I laboratori che comprano automazione si vedono chiedere di costruire flussi di lavoro su modelli il cui comportamento documentato può cambiare nel giro di circa un anno. Delle 50 affermazioni verificate da Queen e Zou, il 44 per cento era scaduto, il 16 per cento reggeva ancora e il 6 per cento si era rafforzato. Una validazione fatta al momento dell'acquisto può non descrivere il sistema sei mesi dopo. Per chi compra la domanda pratica è stretta: su quale versione del modello è stata misurata un'affermazione, e quando.

Cosa è scaduto, e quanto in fretta

I due ricercatori hanno verificato 50 affermazioni molto citate sui grandi modelli linguistici su 20 modelli rilasciati tra luglio 2024 e settembre 2026 da otto sviluppatori.

Un altro 34 per cento delle affermazioni si era indebolito in modo significativo, secondo lo studio. Tra i 22 risultati con una data di scadenza stimata, la durata media era di 15,7 mesi. La scadenza accelera con il tempo: dopo un anno era scaduto il 16 per cento, dopo due anni la cifra saliva al 39 per cento.

Le affermazioni sul ragionamento invecchiano peggio. Cinque dei nove risultati legati al ragionamento sono scaduti, e nessuno ha retto o si è rafforzato. L'elenco comprende il conteggio delle lettere in "strawberry", l'aritmetica in sistemi numerici poco familiari, la perdita di informazioni a metà contesto e l'abbandono di una risposta corretta quando l'utente insiste. I ricercatori sospettano che questi errori abbiano un esito "corretto", il che dà agli sviluppatori un obiettivo chiaro su cui addestrare.

Le affermazioni su preferenze e tendenze durano di più. Degli 11 risultati che hanno retto o si sono rafforzati, tre riguardano modelli che agiscono come valutatori e tre riguardano l'adulazione verso gli utenti. I pregiudizi sociali sono misti: il pregiudizio politico orientato a sinistra persiste, mentre gli stereotipi di genere e i pregiudizi di associazione implicita si sono indeboliti, e il pregiudizio verso chi parla l'inglese afroamericano ha invertito direzione nei dati di tendenza.

I soldi che entrano nei laboratori automatizzati

Opentrons Labworks ha dichiarato di aver raccolto 40.000.000 di dollari in un finanziamento di Serie E guidato da Avego, con la partecipazione di BroadOak Capital Partners. Non ha reso nota la valutazione né le quote rilevate dagli investitori. The AI Insider ha riportato il round il 30 ottobre.

La base installata è l'argomento di vendita. Opentrons dice di aver distribuito più di 11.000 robot nei laboratori di oltre 80 paesi, compreso il 90 per cento delle 20 maggiori aziende farmaceutiche del mondo. Fondata nel 2014, vende la piattaforma Flex, che abbina strumenti robotici a software per standardizzare le operazioni di laboratorio.

I proventi vanno all'esecuzione sperimentale guidata dall'AI, a un'integrazione più profonda con strumenti e software di terzi e all'ingresso in altri mercati, ha detto l'azienda. La sua architettura aperta e basata su API è pensata per inserirsi negli ambienti di ricerca esistenti, non per sostituirli.

"Milioni di scienziati passano gran parte della giornata su lavoro manuale che un robot può fare", ha detto l'amministratore delegato James Atwood nell'annuncio del finanziamento. Il socio amministratore di Avego, James Flexner, ha inquadrato la scommessa allo stesso modo: "Ogni scoperta guidata dall'AI deve comunque essere testata in un laboratorio reale".

Lo strato software diventa open source

OpenScience è un agente di ricerca open source che gira come app desktop, come workspace nel browser o come comando da terminale, con kernel shell, Python e R. Offre connettori a ChEMBL, UniProt, PubMed e arXiv, più dieci adattatori bring-your-own-key per gli endpoint NVIDIA BioNeMo NIM.

La documentazione del progetto è esplicita sui limiti. Ogni passaggio è visibile, si legge, e gli utenti dovrebbero rivedere fonti, ipotesi, codice e risultati prima di affidarsi a una conclusione scientifica. Gli adattatori BioNeMo sono segnati come sperimentali e richiedono la chiave API NVIDIA dell'utente.

Dove i modelli falliscono ancora

Le citazioni inventate mostrano quanto il progresso sia irregolare. In uno studio del 2023 di Walters e Wilder, GPT-3.5 inventava il 55 per cento dei suoi riferimenti. Sugli stessi prompt, GPT-6.1 Sol ne ha inventati lo 0 per cento e Claude Sonnet 5.5 l'1 per cento. Qwen3.7-Flash, anch'esso un modello del 2026, ne inventava ancora il 69 per cento.

Le domande a due passaggi, in cui un modello deve combinare due fatti che conosce, restano un punto debole. Claude Sonnet 5.5 sbaglia ancora in circa il 10 per cento dei casi in cui risponde correttamente alle due domande singole, contro il 43 per cento riportato per ChatGPT nel paper originale.

La scelta del modello conta quanto la generazione del modello. Tra i modelli rilasciati tra luglio e settembre 2026, i risultati scaduti andavano da 11 per DeepSeek V4 Pro a 30 per GPT-6.1 Sol. Né la data di rilascio, né il fornitore, né la dimensione del modello prevedono il quadro in modo affidabile, hanno trovato i ricercatori.

Cosa danno per scontato le previsioni

Le previsioni di mercato danno per scontato che gli strumenti continuino a migliorare. The Business Research Company stima che il mercato dell'AI nelle scienze della vita passi da 3.590.000.000 di dollari nel 2025 a 4.440.000.000 di dollari nel 2026, che il comunicato descrive come un tasso di crescita annuo composto del 23,6 per cento. Prevede 10.430.000.000 di dollari entro il 2030 con un CAGR del 23,8 per cento, citando tra i motori l'automazione di laboratorio basata sull'AI.

Quella previsione copre l'AI in tutte le scienze della vita, dal monitoraggio remoto dei pazienti alla scoperta di farmaci, non solo i robot da laboratorio.

Queen e Zou arrivano a una conclusione più stretta delle previsioni. I risultati empirici sugli LLM andrebbero presentati come osservazioni su modelli specifici in un momento specifico, non come verità generali, sostengono. Per un laboratorio che standardizza su un robot, questo significa rifare la validazione, non ereditarla.