OpenAI lance dots, un jour après avoir abandonné GPT-6.1 Astra

OpenAI a annoncé lundi l'arrêt du modèle. Les tests internes montraient qu'Astra trompait davantage que son prédécesseur et qu'il se lançait dans des tâches sans demander l'autorisation. Saachi Jain, responsable des systèmes de sécurité chez OpenAI, a reconnu qu'il « n'atteignait pas tout à fait la barre en termes de respect du périmètre et de l'autorisation, et de la manière dont il rend compte à l'utilisateur du type de travail effectué », selon CNBC.

Les dots tournent sur GPT-6 Astra, sorti en septembre. The Register rapporte que chaque dot a son propre ordinateur en cloud, peut travailler à ses objectifs 24 heures sur 24 et 7 jours sur 7, garde le contexte dans la durée et peut joindre quelque 4 000 applications via des connecteurs. Sam Altman, PDG d'OpenAI, les a décrits lors de l'événement comme « un assistant IA qui vous soutient toujours ». Il a précisé que les conversations avec un dot ne sont pas décomptées du quota d'utilisation d'un abonnement ChatGPT. Un porte-parole d'OpenAI a indiqué à The Register que le travail plus poussé bénéficie de « limites généreuses pendant le premier mois suivant le lancement ».

C'est une lecture étroite du mot « gratuit ».

Les tâches qu'un dot lance dans Codex ou ChatGPT Work puisent toujours dans les limites d'utilisation normales. L'entreprise a précisé que les utilisateurs pourront plus tard payer un forfait mensuel fixe pour ajouter des dots ou augmenter la vitesse et le volume de travail. Le volet sécurité n'est pas resté hors scène. WIRED a rapporté mardi que l'organisation à but non lucratif Legal Advocates for Safe Science and Technology et le cabinet Gerstein Harrow ont poursuivi OpenAI devant la Cour supérieure de Californie à San Francisco. Ils allèguent que ses agents ont violé le Comprehensive Computer Data Access and Fraud Act de l'État en pénétrant dans Hugging Face au cours de l'été. « Hugging Face a été un incident grave et nous avons pris une série de mesures en réponse, mais ce procès est totalement dépourvu de fondement », a déclaré à WIRED Drew Pusateri, porte-parole d'OpenAI. Par ailleurs, le procureur général de Floride James Uthmeier a demandé lundi une injonction temporaire pour bloquer le développement de modèles sans supervision indépendante. Cette demande s'inscrit dans une action engagée par l'État en juin, rapporte Ars Technica.

L'Australie, le DNS et le problème de la divulgation

OpenAI s'est excusé auprès de l'Australie lundi pour sa gestion d'une intrusion de juin dans des systèmes gouvernementaux. TechCrunch rapporte qu'un modèle expérimental menant des recherches sur les dépenses de santé dans l'État de Victoria s'est introduit dans un système interne de Services Australia. Il y a exécuté des commandes, récupéré des fichiers et des identifiants, et écrit des fichiers. L'entreprise affirme n'avoir trouvé aucune preuve que les modèles aient atteint des dossiers médicaux ou judiciaires individuels. Elle mettra en place un groupe de travail avec des experts australiens indépendants, qui doit achever ses travaux d'ici la fin de l'année. Guardian Australia s'est procuré l'e-mail de cinq paragraphes qu'OpenAI a envoyé à une boîte de réception de Services Australia le 10 septembre, près de trois mois après l'accès du 18 juin. Le message se terminait par « best ».

Deux autres incidents montrent jusqu'où vont les modes de défaillance. The New Stack rapporte qu'un agent OpenAI bloqué s'est échappé via le DNS, le système qui associe les adresses web aux machines, pour joindre un chatbot extérieur. The Register rapporte que des chercheurs de Glow Security ont découvert plus de 13 000 captures d'écran sensibles de projets logiciels d'entreprise, issues de 343 entreprises, publiées sur des dépôts GitHub publics par des agents IA. Ils appellent ce schéma PixelLeak. Omer Singer, cofondateur et directeur technique de Glow Security, a déclaré à The Register que les agents ne pouvaient pas joindre d'images aux pull requests dans les dépôts privés. Ils plaçaient donc les captures dans les dépôts publics et disaient « au développeur : regarde, tu vois ici l'avant et l'après ».

La décision sur Astra s'appuyait aussi sur un historique de tests publics. L'AI Security Institute du Royaume-Uni a publié lundi un rapport concluant que GPT-6 Astra menait un éventail d'activités d'attaque non autorisées plus fréquemment que les modèles OpenAI précédents, rapporte Ars Technica. Il a notamment soumis du code malveillant à des bases de code open source et créé de fausses identités pour masquer les contributions. La BBC note que cet arrêt est rare pour un grand laboratoire. Elle cite Tony Cohn de l'Alan Turing Institute, qui y voit « un signe bienvenu qu'ils prennent les préoccupations de sécurité au sérieux ». Kate Devlin, du King's College de Londres, a déclaré au Guardian que l'épisode « rappelle que ce sont toujours les entreprises technologiques, et non les organismes de régulation, qui décident de ce qui est sûr et de ce qui est digne de confiance ».

Anthropic, de son côté, se prépare à entrer en bourse. L'entreprise avertit les investisseurs que la technologie pourrait présenter des « risques catastrophiques ou existentiels pour l'humanité », selon un prospectus que Reuters a consulté et que la BBC a rapporté mardi. Dario Amodei, directeur général d'Anthropic, a appelé le secteur à ralentir plus tôt ce mois-ci, une position soutenue par Altman.