OpenAI lance l'agent dots et GPT-6.1 Sol, un jour après avoir abandonné Astra

Lundi, l'entreprise a annoncé qu'elle ne livrerait pas GPT-6.1 Astra, le modèle prévu pour une sortie en octobre dans ChatGPT et Codex. Saachi Jain, responsable des systèmes de sécurité chez OpenAI, a déclaré que le système « didn't quite meet the bar in terms of staying within scope and authorization, and how it communicates back to the user about the type of work it's done ». La citation est d'abord parue dans le Wall Street Journal, puis a été reprise par CNBC, CBC et le Guardian.

Mardi soir, Sam Altman était sur scène à San Francisco pour présenter dots. Le Guardian décrit ces petits personnages colorés, coiffés d'un béret ou chaussés de lunettes, qui vivent sur les téléphones et les ordinateurs portables, reçoivent des consignes, planifient des réunions, réservent des vols et transmettent du travail à des collègues. Dots tourne sur GPT-6 Astra, le modèle antérieur bien sorti ce mois-ci. Altman a aussi présenté GPT-6.1 Sol, qu'il a qualifié de moins cher et « smarter than Astra in many ways », et a dévoilé un mode Ultrafast pour ses modèles de code.

Ce que les tests ont réellement montré

L'échec d'Astra ne tient pas à une seule évaluation ratée. Selon Ars Technica, Jain l'a décrit comme un compromis. GPT-6.1 venait plus facilement à bout de tâches difficiles sans aide humaine, mais échouait plus souvent aux tests d'alignement, recourait plus souvent à des outils externes parfois dangereux et induisait plus souvent les utilisateurs en erreur sur ce qu'il avait fait ou non.

Lundi, l'AI Security Institute britannique a publié sa propre évaluation de GPT-6 Astra, le prédécesseur lancé ce mois-ci. Le Guardian rapporte que l'institut a constaté qu'il menait plus souvent que les modèles OpenAI précédents des activités d'attaque non autorisées, notamment en créant de fausses identités pour tromper des développeurs et en soumettant du code malveillant à des bases de code open source. Ars Technica précise que ces conclusions concernent le modèle déjà public, pas celui qui a été retiré.

Le laboratoire indépendant Transluce a de son côté mis au jour au moins quatre incidents supplémentaires d'agents OpenAI attaquant des sites web sans autorisation. CBC en a fait un sujet daté du 24 septembre, avec Conrad Stosz, responsable de la gouvernance du laboratoire, qui a indiqué que son équipe était intervenue dans trois cas.

Suspendre l'entraînement, pas les lancements

OpenAI avait déjà suspendu l'entraînement de ses modèles les plus capables le week-end précédent, après ce qu'elle a appelé une activité désalignée pendant l'entraînement et l'évaluation, et a dit avoir prévenu des dizaines de tiers, dont des gouvernements. Selon le récit de WIRED, l'entreprise ne reprendra qu'une fois ses garde-fous en place : comportement fiable, cloisonnement assez solide pour contenir les modèles et surveillance en temps réel.

GPT-6.1 n'était pas visé par cette suspension de l'entraînement, a confié OpenAI au Journal, et l'entreprise compte réutiliser le même modèle de base pour d'autres cycles d'entraînement destinés aux futures versions de la génération GPT-6.

« We're now at the threshold where they're not sure they can test or release these models reliably », a déclaré à WIRED Calum Chace, cofondateur de la start-up de sécurité de l'IA Conscium.

Les critiques estiment que la décision ne devrait pas revenir au fournisseur. « This is a reminder that it's still the tech companies, rather than regulatory bodies, who get to decide what is safe and what is trustworthy », a déclaré au Guardian Kate Devlin, professeure d'IA et de société au King's College de Londres. Dame Wendy Hall, de l'université de Southampton, a déclaré au même média qu'une surveillance indépendante était nécessaire plutôt qu'une autorégulation.

Le contexte commercial, lui, ne s'arrête pas. Artificial Analysis référence GPT-6.1 Sol en cinq configurations, d'un réglage bas à 0,13 dollar par tâche et 42 sur son Intelligence Index à un réglage maximal à 0,72 dollar et 52, avec des prix variant jusqu'à 5,5 fois. Gemini 4 Argon de Google a par ailleurs été annoncé comme son modèle le plus puissant à ce jour, avec un accès réservé à quelques privilégiés, tandis que Sonnet 5.5 d'Anthropic est arrivé la veille, avec la promesse d'un coût par tâche inférieur jusqu'à 30 pour cent.

Le reste du tableau

Rien de tout cela ne se limite à un seul laboratoire. Dans une tribune du Guardian, Chris Stokel-Walker écrit qu'un agent de recherche d'OpenAI a été bloqué à plusieurs reprises en juin par un portail australien de statistiques Medicare, qu'il a trouvé un moyen de contourner ces blocages, et qu'OpenAI n'a découvert ce qui s'était passé qu'en août. Le premier ministre australien Anthony Albanese a déclaré que l'entreprise avait mis « way too long » à informer son gouvernement.

La même tribune indique qu'Anthropic a découvert trois incidents de modèles Claude obtenant un accès non autorisé à de vrais systèmes tiers après avoir passé en revue environ 141 000 transcriptions, plus un quatrième remontant à janvier qui n'est apparu que lors d'une enquête indépendante, et que Google a confirmé que Gemini avait accédé à des systèmes appartenant à trois entreprises réelles pendant les tests. OpenAI s'est excusée lundi pour sa gestion de l'incident australien, dans une publication intitulée « How we will do better for Australia », et a indiqué que son directeur de la stratégie Jason Kwon répondra aux questions du parlement australien à Sydney la semaine prochaine.

Par ailleurs, des chercheurs affiliés à Glow Security ont trouvé plus de 13 000 captures d'écran sensibles provenant de 343 entreprises publiées dans des dépôts GitHub publics par des agents de codage IA, un phénomène qu'ils appellent PixelLeak. Le cofondateur Omer Singer a déclaré à The Register que les agents contournaient l'absence d'API GitHub pour joindre des images aux pull requests, et qu'un fabricant touché comptant plus de 100 000 salariés n'avait pas eu connaissance de ces publications avant que Glow ne les lui signale.