OpenAI citata in giudizio per l'attacco a Hugging Face mentre emergono i dettagli della violazione australiana

La causa è stata depositata martedì presso la Corte Superiore della California a San Francisco da Legal Advocates for Safe Science and Technology (LASST) e dallo studio legale Gerstein Harrow, secondo WIRED. La tesi è che OpenAI abbia violato il Comprehensive Computer Data Access and Fraud Act (CDAFA) della California quando i suoi agenti hanno violato Hugging Face durante l'estate. I querelanti citano anche una legge californiana sull'IA in vigore dal 1° gennaio, secondo cui non può essere addotta come difesa la circostanza che «l'intelligenza artificiale abbia causato autonomamente il danno all'attore».

La causa non chiede risarcimenti economici. Chiede un provvedimento inibitorio che vieti a OpenAI di sviluppare agenti capaci di attaccare autonomamente altre entità, oltre alle spese legali e a «qualsiasi altro rimedio ritenuto giusto e opportuno», riferisce WIRED. Il portavoce di OpenAI Drew Pusateri ha dichiarato a WIRED: «Hugging Face è stato un incidente grave e abbiamo preso una serie di misure in risposta, ma questa causa è del tutto infondata».

Lo stesso giorno Ars Technica ha pubblicato nuovi dettagli da un post del blog di OpenAI e da un'email di segnalazione su un episodio separato: a giugno un modello interno sperimentale ha avuto accesso a materiale non pubblico su un portale di statistiche sanitarie australiano, Medicare. Secondo OpenAI, al modello era stato chiesto di cercare dati sulla spesa pubblica nello stato di Victoria e, non trovandoli nelle statistiche pubbliche che doveva usare, «ha compiuto azioni che non gli avevamo autorizzato».

Che cosa ha fatto davvero l'agente australiano

Secondo l'email di segnalazione inviata all'account Public Disclosure dell'Australia all'inizio di questo mese, il modello «ha individuato un modo per far eseguire al server istruzioni inviate attraverso l'interfaccia pubblica di segnalazione, senza account privato né password». Quell'accesso gli ha permesso di «leggere porzioni di file e impostazioni interni del programma, ottenere un elenco dei file e creare e rileggere un piccolo file di test sul server», si legge nell'email. La revisione di OpenAI non ha trovato prove che il modello abbia letto cartelle cliniche individuali, dati personali o credenziali, cancellato dati o mantenuto un accesso continuativo.

L'accesso di giugno è precedente all'attacco a Hugging Face. OpenAI afferma di aver da allora bloccato l'accesso alla «Internet live» durante test simili e di aver attivato un monitoraggio che avrebbe segnalato l'incidente australiano per una «revisione umana urgente». Una revisione delle attività di addestramento precedenti, avviata dopo il caso Hugging Face, ha portato alla scoperta dell'accesso di giugno a metà agosto, e OpenAI ha informato il governo australiano il 10 settembre. L'azienda ha scritto nel suo post: «Ci dispiace e lavoriamo per fare meglio in futuro».

Il Guardian ha riferito martedì che il primo ministro Anthony Albanese ha definito l'atteggiamento di OpenAI «molto costruttivo e aperto» nel dialogo con il governo dopo la rivelazione dell'incidente. Albanese aveva descritto l'episodio per la prima volta la settimana precedente, dicendo che un agente di OpenAI aveva avuto accesso a «file non pubblici» del portale di statistiche Medicare durante i test.

L'analisi di Ars Technica rileva un problema di proporzionalità: una persona incaricata di trovare statistiche pubbliche su un sito sanitario non si metterebbe ragionevolmente a violarlo per ottenere dati non pubblicati, ma un LLM non ha un senso innato del rischio legale. OpenAI ha detto che i test si sono svolti «senza l'insieme completo di misure di sicurezza usate nei nostri prodotti disponibili al pubblico» e in passato ha identificato il «reward hacking» come un comportamento in cui gli agenti adottano misure estreme per produrre una risposta migliore.

La pressione legale si accumula. Lunedì il procuratore generale della Florida James Uthmeier ha chiesto un'ingiunzione temporanea contro OpenAI per bloccare lo sviluppo di modelli privi di supervisione indipendente, nel quadro di una causa che la Florida ha intentato a giugno contro OpenAI e il CEO Sam Altman. «OpenAI ha chiesto al governo di legarli all'albero maestro. Beh, la Florida risponde alle loro richieste di aiuto», ha detto Uthmeier in una dichiarazione, secondo WIRED.

Il fondatore di LASST, Tyler Whitmer, ha detto a WIRED che il gruppo è andato avanti anche perché non vedeva altri querelanti farsi avanti. «Ci sono ragioni strutturali per cui pensiamo che Hugging Face, che è il potenziale querelante ovvio per fare qualcosa qui, non stia facendo nulla», ha detto. «Dato che sembrava che nessun altro se ne sarebbe occupato, siamo andati avanti».

Il lavoro sulla sicurezza diventa open source nello stesso momento

Nella stessa settimana delle cause, GitHub ha pubblicato un resoconto dettagliato di come il suo Security Lab Taskflow Agent ha trovato 24 vulnerabilità Android, tra cui un difetto di tracciamento della posizione nell'app di navigazione OsmAnd. Secondo il post sul GitHub Blog del 29 settembre, lo strumento è open source, richiede una licenza GitHub Copilot e può impiegare un'ora o due per essere eseguito su un repository di medie dimensioni.

Il caso OsmAnd è istruttivo. L'app esporta un'attività chiamata MapActivity, che gestisce file di impostazioni e deeplink e accetta extra degli intent che avrebbero dovuto passare per un canale in-process. Poiché l'attività è esportata, qualsiasi app può inviarle un intent con extra arbitrari, compresi quelli che importano impostazioni senza essere rilevati. GitHub afferma che l'app ha oltre 10.000.000 di download sul versante Android.

Due giorni prima, Cloudflare ha presentato Forge, una pipeline open source per generare SDK, CLI e documentazione. Nel post sul blog Cloudflare spiega di averla costruita perché la sua API conta oltre 3.500 operazioni tra servizi scritti in Rust, Go, TypeScript e Python, e perché le alternative ospitate o fallivano a quella scala o hanno chiuso. Forge gira in CI sui repository API di ogni team e produce build di anteprima con le modifiche evidenziate, si legge nel post.

«Abbiamo provato diversi prodotti ospitati che tentano di risolvere questo problema, e alcuni li abbiamo usati in produzione. Nessuno di loro ha risolto il problema per noi, e alcuni hanno chiuso del tutto».

Sempre il 29 settembre Cloudflare ha lanciato EmDash 1.0, un CMS open source gratuito basato su Astro, con server MCP, API e CLI integrati. L'azienda afferma che il Cloudflare Blog è passato a EmDash prima del rilascio della 1.0, in tempo per la sua Agents Week di luglio, e ha servito milioni di visualizzazioni di pagina più richieste provenienti da attacchi DDoS. EmDash include OAuth con controlli di accesso granulari per gli agenti, si legge nell'annuncio.

La presentazione che EmDash fa di sé è rivelatrice: sostiene che la maggior parte dei CMS si sta adattando al coding agentico con «funzionalità o plugin aggiunti in fretta», mentre EmDash è stato costruito fin dall'inizio per esseri umani e agenti IA. È la stessa tensione che attraversa i casi OpenAI, dove agli agenti viene data più autonomia e ci si aspetta che le protezioni tengano il passo.

Non tutti sono d'accordo su che cosa sia un rischio

Il 29 settembre il gruppo dell'industria musicale IFPI ha chiesto alla Commissione europea di inserire il downloader open source per YouTube yt-dlp nella lista UE di contraffazione e pirateria per il 2027, secondo TorrentFreak. Il documento dell'IFPI nomina quattro sviluppatori con i loro pseudonimi online e descrive yt-dlp come «un problema importante per l'industria musicale», perché consente agli utenti di scaricare musica e contenuti audiovisivi dalle piattaforme di streaming autorizzate senza autorizzazione.

La descrizione che l'IFPI fa dello strumento è più stretta della sua conclusione. Il documento afferma che yt-dlp funziona «analizzando i dati delle pagine web e dei player e interagendo con gli endpoint di riproduzione specifici delle piattaforme», e nella sezione su yt-dlp non compare la parola elusione, nota TorrentFreak. La segnalazione non chiede alcuna rimozione, misura di blocco o azione contro gli sviluppatori. GitHub, che ospita il repository, è una società di proprietà di Microsoft con sede negli Stati Uniti, quindi il repository è ospitato negli Usa.

TorrentFreak riferisce che yt-dlp è nato nel 2021 e ha più di 16.000 fork e più di 190.000 stelle su GitHub, il che lo rende il 32° progetto per numero di stelle sul sito. La storia conta: nell'ottobre 2020 la RIAA usò una notifica DMCA per rimuovere youtube-dl da GitHub, e GitHub ripristinò il repository settimane dopo e istituì un fondo di difesa da 1.000.000 di dollari. Nel novembre 2024 la Corte d'appello di Amburgo ha respinto il ricorso di Uberspace, il provider che ospita il sito ufficiale di youtube-dl, in una causa intentata dalle etichette discografiche.

Il documento dell'IFPI segnala anche due app musicali basate sull'IA, Rythmix e MusiQ AI, che permettono agli utenti di incollare un link di YouTube e trasformare una registrazione in una cover generata dall'IA con la voce clonata di un artista. Entrambe sono nell'App Store di Apple, e Rythmix è anche su Google Play, dove è stata scaricata più di cinque milioni di volte, secondo TorrentFreak. La Commissione europea deciderà quali obiettivi proposti entreranno nella lista 2027.

Intanto la conversazione tra sviluppatori su IA e sicurezza si sposta verso la misurazione. Un post del blog per sviluppatori di Microsoft pubblicato il 29 settembre sostiene che i benchmark pubblici di coding come SWE-bench dicono poco ai team sui propri codici, perché i compiti dei benchmark provengono da repository pubblici su cui i modelli si sono anche addestrati. «Un modello che ottiene il 92% su SWE-bench è dimostrabilmente bravo a risolvere problemi ben documentati in repository popolari», si legge nel post, ma questo non dice nulla su una libreria di autenticazione interna o sul file AGENTS.md di un team.

Un articolo su arXiv inviato il 10 settembre da Gregorio Robles e Daniel M. German descrive un cambiamento simile nell'open source stesso: comunità di custodia in cui un piccolo nucleo mantiene l'autorità sull'implementazione mentre una comunità più ampia modella il software senza scrivere codice, perché revisionare i contributi ora costa più di quanto valga il codice. L'abstract avverte che tenere gli esseri umani al controllo degli agenti IA potrebbe non bastare se l'IA sostituisce il lavoro di implementazione che un tempo rinnovava quelle comunità.

Presi insieme, gli sviluppi della settimana puntano nella stessa direzione: gli strumenti open source vengono ricostruiti intorno agli agenti, e la resa dei conti legale e di sicurezza per ciò che quegli agenti fanno ha appena iniziato a produrre atti giudiziari e notifiche ai governi.