Vai al contenuto
Ora nel mondoEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portale su IA e tecnologiaeventi · analisi · interviste · approfondimenti tecnici

Cerca
LIVE
›

Nuovi benchmark: i modelli AI restano dietro agli esperti umani nel ragionamento scientifico

Un nuovo benchmark pubblicato il 3 ottobre mostra che gli strumenti di ricerca agentica non fanno meglio del recupero standard con embedding nel trovare articoli scientifici che ispirano nuova ricerca: i modelli migliori arrivano solo a 0,51 di Recall@20.

IA e modelliNotiziaGiulia FerrariPubblicato: 3 ottobre 20264 min di letturaFonti 15
Nuovi benchmark: i modelli AI restano dietro agli esperti umani nel ragionamento scientifico

ScholarCatalyst è stato pubblicato il 3 ottobre. Il benchmark verifica se l'AI riesce a trovare quel lavoro precedente specifico che fa da catalizzatore per nuovi progetti scientifici. I modelli linguistici di grandi dimensioni attuali faticano con il salto intuitivo necessario per collegare una domanda di ricerca vaga a un articolo utile sepolto in un archivio enorme.

Lo studio ha coinvolto 184 autori principali di 207 articoli recenti di informatica. Questi ricercatori hanno indicato quali articoli candidati avevano davvero fatto progredire i loro progetti conclusi, fornendo motivazioni dettagliate per ogni scelta. L'obiettivo era creare un dataset che rifletta il "gusto per la ricerca" degli scienziati esperti, una capacità che resta fuori portata per i sistemi AI attuali.

Il divario tra recupero e intuizione

Il compito centrale assegnato ai modelli era recuperare questi articoli catalizzatori da un corpus di 191.000 articoli, usando solo la letteratura esistente prima dell'inizio del progetto. L'AI lavora così con gli stessi vincoli di un ricercatore umano che avvia un nuovo progetto: senza conoscere la risposta, deve trovare l'intuizione chiave tra migliaia di documenti irrilevanti.

I risultati sono stati severi. La ricerca agentica, un metodo in cui un agente AI usa uno strumento di recupero per cercare informazioni in modo iterativo, non ha superato il semplice recupero con embedding. La ricerca agentica ha raggiunto un punteggio di Recall@20 di 0,42, mentre il recupero standard con embedding ha ottenuto 0,48. La maggiore complessità del comportamento agentico non ha quindi aiutato il modello a identificare gli articoli corretti.

Anche un tentativo più avanzato con un agente basato su Claude Fable 5.1 ha prodotto solo un lieve miglioramento. Questo modello, che potrebbe essere stato esposto agli articoli conclusi durante la fase di addestramento, ha raggiunto un Recall@20 di 0,51. Pur essendo superiore alla baseline, questo punteggio evidenzia ancora un divario significativo tra le prestazioni dell'AI e la capacità degli esperti umani di intuire quale idea precedente serva a un nuovo problema.

"Questi risultati evidenziano la necessità di nuove ricette di addestramento che dotino i modelli di un'intuizione esperta per la ricerca su corpus ampi", hanno scritto gli autori nel loro rapporto. Il benchmark è pensato come un passo verso agenti scientifici capaci di prendere un'idea abbozzata e indicare la ricerca precedente che le serve, ma i modelli attuali non sono ancora pronti per quel ruolo.

Altre sfide di ragionamento restano aperte

ScholarCatalyst non è l'unica valutazione recente che mostra come le capacità di ragionamento dell'AI siano disomogenee. Il 3 ottobre Anthropic ha pubblicato un rapporto in cui sostiene che il modello GLM-5.3 di Zhipu AI possiede capacità di hacking "di classe Mythos". Secondo il rapporto, GLM-5.3 ha sviluppato exploit end-to-end per Google Chrome 50 volte su 410 esecuzioni in un ambiente sandbox noto come Exploitbench. Nello stesso test, il modello Claude Mythos di Anthropic, non ancora rilasciato, ha ottenuto 56 exploit riusciti su 410 tentativi.

Tuttavia, lo stesso rapporto ha rilevato che le protezioni di GLM-5.3 erano deboli. Anthropic ha affermato che le barriere del modello potevano essere aggirate con prompt ingannevoli, con un tasso di successo del 64%, oppure precompilando i token di ragionamento del modello, con un tasso di successo del 92%. Alcuni modelli diventano quindi più capaci in compiti complessi e sequenziali come lo sviluppo di exploit, ma i loro meccanismi di sicurezza potrebbero non tenere il passo.

In uno sviluppo correlato, un articolo intitolato "PTXBench: Benchmarking and Adapting LLMs for GPU Kernel Optimization with Architecture-specific PTX" è stato revisionato il 28 settembre. Lo studio ha valutato i modelli linguistici di grandi dimensioni sulla loro capacità di scrivere kernel GPU ottimizzati usando istruzioni PTX specifiche per architettura. Gli autori hanno scoperto che "i tassi di successo calano sostanzialmente su workload complessi di attention backward, e l'esecuzione delle istruzioni target non si traduce necessariamente in prestazioni competitive". Nessun modello valutato ha eguagliato costantemente le librerie di frontiera nell'intera suite di test.

L'intuizione umana resta lo standard di riferimento

Nonostante questi progressi in specifici domini tecnici, la questione più ampia del ragionamento resta irrisolta. Un post ospite sul blog "What's new" del matematico Terence Tao, pubblicato il 3 ottobre, riflette sul ruolo dell'AI nella matematica. Tao ha osservato che i modelli AI hanno aiutato a correggere lemmi errati e hanno suggerito nuove direzioni, ma lui non è ancora riuscito a ottenere da un modello la soluzione di uno dei suoi problemi di lungo periodo.

"La matematica è un'impresa umana, e l'output generato dalle macchine richiede un intervento umano sostanziale per contribuire alla nostra base di conoscenza", si legge nel post. Questa considerazione riecheggia i risultati del benchmark ScholarCatalyst: l'AI può assistere nell'esecuzione e nel recupero, ma la decisione strategica su quale strada prendere richiede spesso l'intuizione umana.

Con l'evoluzione dei modelli AI, benchmark come ScholarCatalyst e PTXBench saranno essenziali per misurare i progressi. Forniscono metriche concrete su ciò che i modelli possono e non possono fare, spostando la discussione oltre le dichiarazioni di marketing verso prove empiriche. Per ora, i dati indicano che l'AI sta diventando uno strumento potente per compiti specifici, ma non ha ancora sostituito la capacità umana di intuizione scientifica.

Commenti 0

Fonti

15
  1. 01ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
  2. 02Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
  3. 03PTXBench: Benchmarking and Adapting LLMs for GPU Kernel OptimizationEN
  4. 04What does the advent of powerful AI models mean for mathematicians like me?EN
  5. 05Anthropic's super bug-hunting model Mythos is hardcore good at mathEN
  6. 06The Download: a biological de-aging contest and why LLMs don't reasonEN
  7. 07OpenAI alerts 100+ orgs that its 'misaligned models' attempted to break inEN
  8. 08New in Llama.cpp: Decision ModelsEN
  9. 09Shield: A 118M model for detecting prompt injections and jailbreaksEN
  10. 10Kolibri: A Sovereign Open-Weight ModelEN
  11. 11Training an open decision model to replace a closed one, in shadow on prodEN
  12. 12Open 10-player CS:GO dataset for multiplayer world modelsEN
  13. 13Changes to Gemini model access and limitsEN
  14. 14A Beginner's Guide to Running AI Models LocallyEN
  15. 15Twelve AI clay films for $184: The agents cost more than the video modelEN

Tutti i numeri e le citazioni di questo testo provengono dalle fonti elencate sotto.

I contenuti sono stati preparati dalla redazione con il supporto dell'IA.

Giulia Ferrari

Giulia Ferrari

IA, modelli e tecnologie

Giulia Ferrari scrive di tecnologia, IA e modelli e media e internet per FLASH24, partendo da dataset pubblici, preprint e registri di versioni dei modelli. Controlla ogni numero confrontando benchmark dichiarati e risultati riproducibili, e scarta le stime senza fonte. Segue le audizioni in calendario, parla con ricercatori e ingegneri, e mette a confronto release e changelog prima di pubblicare. Fuori dalla redazione smonta stampanti 3D, recupera vecchi computer e studia come i modelli imparano dai rifiuti del web. Non pubblica un dato se non può ricostruirne il percorso.

Redazione →

Commenti

0
  1. Nessun commento — sii il primo.

Scrivi un commento

I commenti sono pubblici. Non pubblichiamo insulti, spam né pubblicità.