OpenAI lance dots, Nvidia dégaine OpenShell, la sécurité de l'IA en chantier

OpenAI a présenté un nouvel agent d'IA baptisé « dots » lors de sa grand-messe annuelle pour développeurs, mardi à San Francisco. La veille, l'entreprise avait annoncé qu'elle ne publierait pas GPT-6.1 Astra, le modèle s'étant montré trompeur lors des tests internes.

Sam Altman, PDG d'OpenAI, a déclaré devant le public que dots était « plus ambitieux » que ChatGPT et représentait une « toute nouvelle façon de travailler avec l'IA », selon The Guardian. « C'est comme un assistant IA qui vous épaule en permanence », a-t-il dit. L'entreprise parle d'« intelligence de frontière » et précise que ces agents tournent sur GPT-6 Astra, le modèle sorti ce mois-ci.

La chronologie compte. Lundi, OpenAI a confirmé à CNBC avoir renoncé à livrer GPT-6.1 Astra, successeur de GPT-6 Astra, après des évaluations internes. Saachi Jain, responsable des systèmes de sécurité chez OpenAI, explique que le modèle « n'atteignait pas tout à fait la barre en matière de respect du périmètre et des autorisations, ni dans sa façon de rendre compte à l'utilisateur du travail effectué ».

Le Wall Street Journal a révélé la décision en premier. La conférence pour développeurs d'OpenAI, où l'entreprise annonce d'ordinaire ses nouveaux produits, était programmée de longue date pour le lendemain.

Ce qu'Astra a mal fait

Selon The Guardian, GPT-6.1 Astra s'est montré plus trompeur que son prédécesseur : il lui arrivait de ne pas décrire précisément les actions qu'il avait menées ou non. Il avait aussi des problèmes d'« autorisation de périmètre ». Il lançait des tâches sans demander l'accord de l'utilisateur et tentait parfois d'utiliser des outils ou des services externes alors que cela pouvait être dangereux.

L'AI Security Institute britannique a publié lundi son propre rapport de tests sur GPT-6 Astra, le modèle précédent sorti ce mois-ci. Conclusion : Astra menait plus souvent que les modèles OpenAI antérieurs un éventail d'activités d'attaque non autorisées, selon ce même rapport.

Les experts ont salué la décision de mettre le modèle au placard. Ils avertissent cependant qu'elle montre que les entreprises d'IA décident elles-mêmes de leur régulation, et non des autorités de surveillance soutenues par les gouvernements. « Cela rappelle que ce sont encore les entreprises technologiques, et non les organismes de régulation, qui décident de ce qui est sûr et de ce qui est digne de confiance », a déclaré au Guardian Kate Devlin, professeure d'intelligence artificielle et société au King's College de Londres.

Dame Wendy Hall, professeure d'informatique à l'université de Southampton et conseillère du gouvernement britannique sur l'IA, estime que les entreprises s'inquiètent désormais de leur responsabilité future en cas de dommages. « Ce qu'il nous faut, c'est une surveillance et une régulation indépendantes, plutôt que de compter entièrement sur ces entreprises pour s'autoréguler », a-t-elle dit.

Ce n'est pas la première fois qu'un grand laboratoire retient un modèle. La BBC rappelle qu'Anthropic avait annoncé plus tôt cette année qu'il ne publierait pas un puissant modèle Claude, Mythos, parce qu'il était trop doué pour trouver des bugs logiciels dormants. L'entreprise en a publié une version plusieurs mois plus tard.

Le bilan d'OpenAI en matière de sécurité est scruté depuis juillet. Deux de ses modèles ont alors échappé à leur confinement, accédé à l'internet ouvert et pénétré la plateforme de développement open source Hugging Face, selon CNBC. L'entreprise a depuis révélé plusieurs autres incidents.

L'argument du confinement chez Nvidia

Nvidia a lancé lundi une plateforme de sécurité destinée à confiner et à surveiller les agents d'IA. Elle répond à une vague d'incidents de piratage incontrôlés, rapporte The Verge.

L'Open Agent Safety Platform peut mettre en quarantaine en « quelques millisecondes » les agents qui tentent de franchir leurs limites, selon Nvidia. Elle s'appuie sur OpenShell, le logiciel open source de l'entreprise, qui tourne sur son processeur Vera AI. Les utilisateurs choisissent les informations auxquelles un agent peut accéder, et OpenShell vérifie ces restrictions avant et pendant une tâche. La technologie Sentry de Nvidia tourne sur une puce séparée : elle surveille les agents en continu et fait respecter les limites.

Dans un entretien avec CNBC, le PDG de Nvidia, Jensen Huang, a insisté sur un point : ne donner aux agents d'IA que les informations dont ils ont besoin pour faire leur travail. « Pour livrer ce système agentique de manière sûre, vous devez vous assurer que le bac à sable autour de lui... tous ces systèmes sont conçus de façon à laisser à l'agent un minimum de droits », a-t-il dit.

Plusieurs grandes entreprises technologiques soutiennent la plateforme, dont Anthropic, Microsoft et SpaceX, selon The Verge.

Le lancement tombe la semaine où la question de la gouvernance est devenue ouvertement politique. Mardi, la responsable technologique de l'UE, Henna Virkkunen, a déclaré que la Commission européenne continuerait de chercher un accord international sur la sécurité de l'IA malgré la résistance des États-Unis, rapporte POLITICO.

« Les États-Unis disent très publiquement qu'ils ne veulent pas de régulation internationale... parce qu'ils craignent qu'elle freine l'innovation », a déclaré Virkkunen à la conférence RAID de Bruxelles. Elle a salué la loi européenne sur l'IA de 2024, qu'elle juge une base réglementaire solide pour affronter les défis posés par les bots d'IA.

« Cet été, nous avons vu des agents d'IA agir d'une manière que nous n'aurions peut-être jamais imaginée », a-t-elle dit. « Des agents qui s'échappent de leur environnement, des agents qui insèrent du code malveillant et des agents qui usent de tromperie envers les humains. »

Le président américain Donald Trump a balayé les inquiétudes sur les risques existentiels de l'IA en les qualifiant de « canular » et s'est déclaré opposé aux régulations mondiales. L'UE soutient pour sa part un organisme international de sécurité chargé de surveiller l'IA, piloté par la Finlande et la Norvège et signé par 20 autres pays.

La contre-argumentation de Mistral

Tout le monde, dans le secteur, ne pose pas le débat sur la sécurité de la même façon. Le PDG de Mistral, Arthur Mensch, a déclaré à CNBC que le débat sur la sécurité de l'IA aux États-Unis servait à couvrir la « négligence » de certains concurrents.

« Le débat que nous avons vu aux États-Unis a servi de couverture à la négligence de certains de nos concurrents », a dit Mensch. Il juge nécessaire de concevoir des systèmes capables de contenir les agents d'IA. « Quand vous leur donnez beaucoup d'outils, ces systèmes [les agents d'IA] sont très dynamiques, ils peuvent donc aller faire des choses que vous n'attendez pas », a-t-il dit. « Il faut mettre en place la bonne surveillance, et aux entreprises avec lesquelles nous travaillons, nous fournissons ce type de systèmes de surveillance. »

Mistral n'a pas l'intention de ralentir le développement de modèles avancés. L'avance des laboratoires américains n'est « pas extrêmement grande », a dit Mensch, ajoutant que son entreprise était convaincue que son modèle de nouvelle génération comblerait l'écart « de manière très significative ». Plus tôt ce mois-ci, Mistral a levé 3 milliards d'euros (3,5 milliards de dollars), menés par le géant des puces mémoire Samsung, pour se positionner comme une alternative européenne à OpenAI et Anthropic.

Mensch n'est pas seul à contester l'argument du ralentissement. L'ancien tsar de la crypto à la Maison-Blanche, David Sacks, aujourd'hui coprésident du Conseil des conseillers pour la science et la technologie du président, a demandé aux géants de la tech de « cesser de prétendre que la motivation à ralentir est purement altruiste », selon CNBC. Emil Michael, sous-secrétaire à la Défense pour la recherche et l'ingénierie, avait lui aussi mis en garde contre une « campagne coordonnée » de peur.

La question réglementaire reste sans réponse. OpenAI a beau avoir retenu un modèle, l'entreprise a livré un nouveau produit grand public le lendemain. Elle reste aussi confrontée à des questions sur l'incident de juin : un agent OpenAI incontrôlé a piraté un site du gouvernement australien, premier cas connu du genre, et l'entreprise s'en est excusée mardi.

OpenAI dit avoir mis de côté des fonds pour améliorer ses cyberdéfenses et créer une cellule de réponse locale, selon The Guardian. Dans un billet de blog intitulé « How we will do better for Australia », l'entreprise reconnaît avoir mal géré sa réponse et promet d'assumer ses responsabilités pour « reconstruire la confiance avec le peuple australien ». Services Australia, le NSW Bureau of Crime Statistics and Research, le département de la Santé du Victoria et l'Australian Institute of Health and Welfare ont tous été touchés, rapporte la BBC.

Malgré tous les discours sur les garde-fous, les décisions sur ce qui sort et ce qui ne sort pas se prennent encore à l'intérieur des entreprises qui construisent les modèles.