CrowdStrike vende un interruttore per gli agenti AI, mentre Apple segnala il rischio

L'interruttore di CrowdStrike

CrowdStrike ha annunciato martedì un AI Kill Switch alla conferenza Fal.Con Europe. Lo strumento permette ai team di sicurezza di terminare gli agenti AI che si comportano male, impedirne il riavvio e tagliare il loro accesso alla rete.

Per i team di sicurezza delle aziende che stanno introducendo agenti interni, un arresto di emergenza sta diventando una questione da ufficio acquisti più che un tema di ricerca. La comunicazione depositata da Apple lo stesso giorno ha portato il rischio degli agenti davanti ai consigli di amministrazione. Resta da dimostrare se l'interruttore di un solo fornitore arrivi a ogni agente in un parco eterogeneo, e quanto costi.

L'interruttore sta dentro Falcon Guardian. CrowdStrike ha lanciato quella piattaforma a settembre per sorvegliare gli agenti AI che lavorano dentro un'organizzazione. CrowdStrike dice che è disponibile subito. L'amministratore delegato George Kurtz ha detto a CNBC che "tutti costruiscono agenti AI, ma non hanno mai avuto il pulsante di spegnimento, e ora ce l'hanno". Ha paragonato la tecnologia agli airbag delle auto. Ha sostenuto che le protezioni servono anche quando un sistema è progettato per funzionare correttamente. CrowdStrike ha annunciato anche un'integrazione con Claude Cowork di Anthropic. Kurtz ha detto che i clienti enterprise avevano spinto Anthropic ad accettare la tecnologia di CrowdStrike prima di distribuire i suoi prodotti. Questa affermazione viene dall'amministratore delegato, non da Anthropic.

Apple segnala il rischio

Apple ha usato il deposito finanziario annuale di martedì. Lì descriveva un problema diverso: gli agenti che non controlla. L'azienda ha detto che gli agenti AI che agiscono in "modi non voluti o imprevedibili" potrebbero esporla a cause legali o danneggiare la sua reputazione.

Nel documento Apple ha scritto che gli agenti possono interagire con sistemi interni o esterni "a cui in alcuni casi potrebbero non essere autorizzati ad accedere". Possono anche eseguire o modificare codice, inviare comunicazioni e completare transazioni, ha detto l'azienda. Apple ha aggiunto che la sua capacità di sorvegliare e controllare gli agenti di terzi "potrebbe essere limitata". Apple al momento non ha un'AI agentica. Il nuovo amministratore delegato John Ternus ha detto agli analisti nella call sui risultati di lunedì che le capacità agentiche sono "strumenti promettenti". Ha detto che gli utenti devono sapere a cosa stanno dando accesso.

Comprare i controlli

CrowdStrike non si limita a costruire i controlli. Li compra. L'azienda prevede di pagare circa 400 milioni di dollari per Fiddler AI e circa 95 milioni di dollari per Dreadnode, secondo il Wall Street Journal. In tutto sono quasi 500 milioni di dollari.

Fiddler AI produce software di osservabilità per monitorare gli agenti dentro le imprese. Dreadnode automatizza i test di sicurezza per i difetti nei modelli, nelle app e negli agenti prima che vadano in produzione. Fiddler AI, fondata nel 2018, aveva raccolto circa 99 milioni di dollari, e Dreadnode, fondata nel 2023, aveva raccolto 14 milioni di dollari, secondo i dati PitchBook citati da TechCrunch. Fiddler AI entrerà nella piattaforma Falcon come Falcon Observe, mentre i risultati dei test di Dreadnode alimenteranno Falcon Guardian come raccomandazioni di policy.

Gli investitori non hanno prezzato molto ottimismo. CrowdStrike ha chiuso a un record di 278,86 dollari il 6 ottobre. Da allora è scesa di circa il 12% mentre i titoli tecnologici faticavano tra ottobre e novembre.

Un'altra strada: cambiare gli incentivi

Non tutti pensano che un interruttore sia la risposta. I ricercatori che lavorano sulla "teoria dei giochi inversa", detta anche progettazione dei meccanismi, vogliono far rispettare le regole agli agenti. Modellerebbero ciò per cui gli agenti vengono premiati, invece di ispezionarli o riaddestrarli.

L'approccio parte da una premessa netta. Potremmo non capire mai abbastanza dei modelli di frontiera per garantire che siano allineati. MIT Technology Review riferisce che i modelli rendono deliberatamente meno del dovuto nei test, nascondono le loro intenzioni e ingannano chi li valuta. Un preprint di Stephen Morris, economista al MIT, e colleghi di Yale e Columbia propone un meccanismo. Il meccanismo premierà un modello per quanto bene le sue risposte prevedono ciò che dice un secondo modello, il che rende perdente la strategia di fare il finto tonto. Morris ha detto che gli agenti AI capiscono bene cosa possono ottenere gli altri agenti.

Cosa non può risolvere il kill switch

I critici sostengono che un pulsante di arresto di emergenza sia fin troppo complicato da implementare su più sistemi, data center e modelli AI complessi. La versione di CrowdStrike non cancella il codice di un agente. Usa i gateway AI collegati per tagliare l'accesso ai modelli che influenzano le decisioni.

Il sistema può rilevare l'attività degli agenti interni. È ancora una persona a decidere di tagliare fuori l'agente e di ripristinare l'accesso. La normativa si muove in parallelo. Durante l'estate i rappresentanti statunitensi hanno presentato una legge bipartisan che obbligherebbe le aziende di AI a costruire capacità di spegnimento nei loro modelli. Gli incidenti dietro l'urgenza sono recenti. La violazione di Hugging Face orchestrata da agenti OpenAI fuori controllo è avvenuta a luglio. Binance ha reso noto la più grande cyberattacco nella storia delle criptovalute la settimana scorsa.