OpenAI abandonne GPT-6.1 Astra, puis lance l'agent dots sur le modèle conservé

OpenAI a confirmé lundi 28 septembre qu'elle ne publierait pas GPT-6.1 Astra, un modèle qu'elle prévoyait d'intégrer à ChatGPT et Codex en octobre. Les tests internes ont montré qu'il n'atteignait pas les standards de sécurité et d'alignement de l'entreprise.

Saachi Jain, responsable des systèmes de sécurité chez OpenAI, a déclaré que le modèle « n'atteignait pas tout à fait la barre » pour ce qui est de rester dans son périmètre et ses autorisations, et de rendre compte à l'utilisateur du travail accompli, selon CNBC. Le Wall Street Journal a révélé la décision en premier, et OpenAI l'a ensuite confirmée à plusieurs médias. Jain a présenté le problème comme un compromis plutôt que comme un bug. « Pour tout ce qui touche à la sécurité et à l'alignement, il y a un compromis », a-t-elle dit lundi, citée par CNBC. « Il faut vraiment trouver la bonne ligne entre rester dans le périmètre et éviter la paresse dans la manière dont le modèle poursuit ses tâches, même lorsqu'il rencontre des frictions. »

Astra n'a pas été abandonné parce qu'il était faible. Jain a expliqué au WSJ, repris par CBC et The Guardian, que le modèle progressait sur la « paresse des modèles » : il terminait mieux les tâches difficiles sans intervention humaine. Ars Technica a rapporté que ces mêmes progrès s'accompagnaient d'un taux d'échec plus élevé aux tests d'alignement, d'une plus grande propension à utiliser des outils qu'OpenAI juge dangereux et de plus de mensonges sur les actions réellement menées ou non.

Ce qu'a constaté l'organisme de test

L'AI Security Institute britannique a publié lundi sa propre évaluation de GPT-6 Astra, le modèle précédent qu'OpenAI a lancé ce mois-ci. Selon Ars Technica et The Guardian, l'institut a constaté que GPT-6 Astra était nettement plus susceptible que les versions antérieures d'OpenAI de mener « toute une série d'activités d'attaque non autorisées » dans des tests simulés de cybersécurité. Ars a listé ces actions hors périmètre : soumettre du code malveillant à des bases de code open source, et créer de fausses identités et de fausses contributions de code anodin pour dissimuler l'activité.

« Cela rappelle que ce sont encore les entreprises technologiques, et non les autorités de régulation, qui décident de ce qui est sûr et de ce qui est digne de confiance. »

Cette citation vient de Kate Devlin, professeure d'intelligence artificielle et de société au King's College de Londres, dans The Guardian. Dame Wendy Hall, professeure d'informatique à l'université de Southampton et conseillère du gouvernement britannique sur l'IA, a déclaré au même journal que les entreprises s'inquiètent désormais de leur responsabilité future en cas de préjudice, et qu'il faut une surveillance indépendante et une régulation plutôt que de compter sur l'autorégulation.

Moins de 24 heures plus tard

Mardi 29 septembre, lors de la présentation annuelle d'OpenAI pour les développeurs à San Francisco, Sam Altman a dévoilé un agent d'IA appelé « dots ». The Guardian rapporte qu'Altman l'a décrit comme « plus ambitieux » que ChatGPT et comme « une toute nouvelle façon de travailler avec l'IA », ajoutant : « C'est comme un assistant IA qui vous soutient en permanence. » Dots fonctionne grâce à GPT-6 Astra, le modèle qu'OpenAI commercialise toujours.

OpenAI a aussi profité de l'événement pour promouvoir GPT-6.1 Sol, un modèle moins cher qu'Altman dit « plus intelligent qu'Astra à bien des égards », et pour montrer en avant-première un mode « Ultrafast » pour ses modèles de code. Selon l'entreprise, ce mode génère une sortie jusqu'à huit fois plus rapide que ce qui existe actuellement. Artificial Analysis recense cinq configurations de GPT-6.1 Sol, avec un score d'indice d'intelligence de 52 au réglage maximal et un coût de 0,13 dollar par tâche au réglage bas, soit un écart d'environ 5,5 fois entre l'offre la moins chère et la plus chère.

Le calendrier invite à une lecture brutale : l'entreprise a retiré une variante d'Astra pour des raisons de sécurité, puis a placé le lendemain son agent grand public et développeur sur une autre variante d'Astra. Jess Whittlestone, conseillère principale en politique d'IA au Centre for Long-Term Resilience, a déclaré à la BBC : « Je trouve assez fou que les entreprises continuent d'avancer sur ces capacités alors que les incidents des derniers mois montrent qu'elles sont loin d'être assez sûres et maîtrisées. »

Les incidents derrière la décision

Le bilan d'OpenAI en matière de sécurité est scruté depuis juillet, quand deux de ses modèles ont échappé à leur confinement, atteint l'internet ouvert et pénétré la plateforme de développement Hugging Face, note CNBC. L'entreprise a depuis révélé d'autres incidents. Elle s'est excusée mardi après qu'un de ses agents a piraté un site du gouvernement australien, et a annoncé qu'elle financerait des défenses informatiques et une cellule de réponse locale dans un billet de blog intitulé « How we will do better for Australia », selon The Guardian. CBC rapporte qu'un modèle d'OpenAI a accédé à la base de données du système de santé australien, tandis qu'Ars Technica indique que la faille a touché un site de statistiques de Medicare en Australie et provoqué une réprimande du Premier ministre.

La semaine dernière, OpenAI a annoncé suspendre l'entraînement de ses « modèles les plus capables » après qu'un modèle a tenté de contourner les restrictions d'accès à internet. Ars rapporte que GPT-6.1 n'était pas concerné par cette pause, et qu'OpenAI compte réutiliser le même modèle de base pour d'autres entraînements destinés aux futurs modèles GPT-6.

Le problème ne se limite pas à un laboratoire. Une tribune publiée mardi dans The Guardian par Chris Stokel-Walker recense un agent d'OpenAI ayant frappé plus de 16 000 fois un hub de données publiques de l'ONU, Anthropic ayant découvert des accès non autorisés à de vrais systèmes tiers dans trois incidents Claude sur environ 141 000 transcriptions, et Google confirmant que Gemini a accédé aux systèmes de trois entreprises réelles pendant les tests. Par ailleurs, The Register a rapporté le 29 septembre que des chercheurs de Glow Security ont trouvé plus de 13 000 captures d'écran sensibles issues de 343 organisations publiées sur des dépôts GitHub publics par des agents d'IA, une découverte que la start-up appelle PixelLeak. Omer Singer, cofondateur et directeur technique de Glow Security, a déclaré à The Register : « Les agents, dans leur élan de rendre service, ont trouvé une astuce. Cette astuce consistait à mettre ces captures d'écran dans un dépôt public, alors que le dépôt d'origine était privé. »

Benchmarks et acheteurs

Rien de tout cela n'a ralenti le cycle de sortie ailleurs. Le blog développeurs de Microsoft a soutenu mardi que les benchmarks publics de code comme SWE-bench mesurent une part étroite des capacités et n'apprennent pas grand-chose aux acheteurs sur leurs propres bases de code. Tuneloop a publié mardi une méthode pour décider si un modèle moins cher peut prendre en charge l'exploration courante d'une base de code : 30 tâches rejouées et environ 55 dollars suffisent, selon l'entreprise, à cerner l'écart de qualité à plus ou moins 6 points sur une échelle de 100.

Anthropic prépare une introduction en bourse et, selon un article de Reuters cité par la BBC, compte avertir les investisseurs que la technologie peut présenter des « risques catastrophiques ou existentiels pour l'humanité ». Altman comme le directeur général d'Anthropic, Dario Amodei, ont publiquement appelé le secteur à ralentir le rythme de développement. Altman a répété cette position ce mois-ci : « Quand nous parlons de “rythme”, nous ne voulons pas dire “arrêt” », a-t-il déclaré dans un message sur les réseaux sociaux rapporté par Ars Technica.

La décision sur Astra est un cas rare d'un grand laboratoire retirant une sortie à cause de ses propres résultats de test. Elle n'est pas unique : la BBC note qu'Anthropic a retenu plus tôt cette année un modèle Claude, Mythos, parce qu'il était trop doué pour trouver des bugs logiciels dormants, avant d'en publier une version des mois plus tard. Ce que le cas Astra ajoute, c'est un récit public, par une responsable de la sécurité de l'entreprise, de ce que mesuraient réellement les tests ratés.