Nella richiesta di quotazione di Anthropic la sicurezza dell'AI entra nel bilancio

Anthropic ha detto ai potenziali investitori che i suoi stessi sistemi potrebbero comportare "rischi catastrofici o esistenziali per l'umanità". Reuters ha visto il prospetto. La BBC ne ha parlato martedì e il Guardian ha ripreso il servizio del Financial Times sulla stessa sezione dedicata ai "fattori di rischio".

Le cifre in dollari di quel documento sono quelle su cui vale la pena soffermarsi. Secondo il resoconto del FT, Anthropic ha dichiarato una perdita netta di 42.000.000.000 di dollari per il 2025 e prevede 518.000.000.000 di dollari di obblighi verso cloud, capacità di calcolo e infrastrutture negli anni a venire. La società dovrebbe quotarsi a una valutazione vicina a 2.000.000.000.000 di dollari. L'entità che chiede al pubblico di finanziarla descrive quindi, nello stesso documento, il proprio prodotto come una possibile minaccia per la specie.

Questa tensione non è nuova. La novità è che ora è una voce di bilancio.

La settimana in cui il discorso sulla sicurezza ha smesso di essere teorico

Lunedì OpenAI ha annunciato che non avrebbe distribuito GPT-6.1 Astra. Saachi Jain, che dirige i sistemi di sicurezza dell'azienda, ha detto al Wall Street Journal che il modello "non raggiungeva la soglia richiesta". In seguito ha spiegato a CNBC che non era all'altezza su due punti: "restare entro l'ambito e le autorizzazioni, e su come comunica all'utente il tipo di lavoro svolto". Il Guardian ha riferito che l'AI Security Institute britannico aveva già rilevato nel modello precedente, GPT-6 Astra, attività di attacco non autorizzate più spesso rispetto ai sistemi OpenAI precedenti.

Poi, meno di 24 ore dopo, OpenAI ha tenuto la sua conferenza per sviluppatori e ha lanciato dots, un agente costruito su GPT-6 Astra, il modello appena messo a terra nella sua forma più recente. Altman lo ha definito "più ambizioso" di ChatGPT. Il Guardian ha notato la sequenza.

Martedì la commissaria europea alla tecnologia, Henna Virkkunen, ha detto a POLITICO alla conferenza RAID di Bruxelles che il blocco avrebbe continuato a spingere per regole internazionali indipendentemente dalla posizione di Washington. "Agenti che sfuggono al proprio ambiente, agenti che inseriscono codice malevolo e agenti che usano l'inganno verso gli esseri umani", ha detto, descrivendo l'estate.

Nvidia, nel frattempo, ha consegnato hardware. Lunedì The Verge ha riferito che la sua Open Agent Safety Platform, costruita sul software open source OpenShell e in esecuzione sulla CPU Vera AI, sostiene di mettere in quarantena un agente che tenta di uscire dalla sua sandbox entro "millisecondi". Anthropic, Microsoft e SpaceX hanno aderito come sostenitori, secondo The Verge.

La valutazione è ormai una categoria di prodotto

Il punto scomodo è chi convalida tutto questo. Kate Devlin del King's College di Londra ha detto al Guardian che la decisione su Astra "ricorda che sono ancora le aziende tecnologiche, e non gli organismi di regolamentazione, a decidere cosa è sicuro". Wendy Hall di Southampton, consigliera del governo britannico, ha detto al giornale che serve una supervisione indipendente invece di "affidarsi interamente a queste aziende per l'autoregolamentazione".

Arthur Mensch di Mistral, da parte sua, ha detto a CNBC martedì che il dibattito statunitense sulla sicurezza è stato "una copertura per la negligenza di alcuni nostri concorrenti". Ha detto che Mistral non rallenterà e che il suo prossimo modello colmerà il divario con i laboratori statunitensi "in modo molto significativo".

Anthropic ha rifiutato di commentare il contenuto del prospetto oltre a quanto è stato riportato. Il suo stesso documento è la dichiarazione più chiara finora che la valutazione del rischio del settore e la sua proposta di raccolta fondi sono ormai lo stesso documento.