CrowdStrike vend un interrupteur pour les agents IA, Apple signale le risque

L'interrupteur de CrowdStrike

CrowdStrike a annoncé mardi un AI Kill Switch lors de sa conférence Fal.Con Europe. L'outil permet aux équipes de sécurité de mettre fin à un agent IA qui déraille, de l'empêcher de redémarrer et de lui couper l'accès au réseau.

Pour les équipes de sécurité des entreprises qui déploient des agents internes, l'arrêt d'urgence devient une question d'achat plutôt qu'un sujet de recherche. Le dépôt réglementaire d'Apple, le même jour, a porté le risque des agents devant les conseils d'administration. Reste à savoir si l'interrupteur d'un seul fournisseur atteint tous les agents d'un parc hétérogène, et combien il coûte.

L'interrupteur est intégré à Falcon Guardian. CrowdStrike a lancé cette plateforme en septembre pour surveiller les agents IA qui travaillent au sein d'une organisation. CrowdStrike indique qu'elle est disponible immédiatement. Le directeur général George Kurtz a déclaré à CNBC que « tout le monde construit des agents IA, mais personne n'avait le bouton d'arrêt, et maintenant ils l'ont ». Il a comparé la technologie aux airbags des voitures. Selon lui, des garde-fous sont nécessaires même quand un système est conçu pour fonctionner correctement. CrowdStrike a aussi annoncé une intégration avec Claude Cowork d'Anthropic. Kurtz affirme que des clients entreprises ont poussé Anthropic à accepter la technologie de CrowdStrike avant de déployer ses produits. Cette affirmation vient du dirigeant, pas d'Anthropic.

Apple signale le risque

Apple a utilisé son dépôt financier annuel mardi. L'entreprise y décrit un autre problème : des agents qu'elle ne contrôle pas. Elle écrit que des agents IA agissant de manière « imprévue ou imprévisible » pourraient l'exposer à des poursuites ou nuire à sa réputation.

Dans ce document, Apple écrit que les agents peuvent interagir avec des systèmes internes ou externes « auxquels, dans certains cas, ils peuvent ne pas être autorisés à accéder ». Ils peuvent aussi exécuter ou modifier du code, envoyer des communications et réaliser des transactions, précise l'entreprise. Apple ajoute que sa capacité à superviser et contrôler les agents de tiers « peut être limitée ». Apple ne dispose pas aujourd'hui d'IA agentique. Le nouveau directeur général John Ternus a déclaré lundi aux analystes, lors de la conférence sur les résultats, que les capacités agentiques sont des « outils prometteurs ». Il a ajouté que les utilisateurs doivent savoir à quoi ils donnent accès.

Acheter les contrôles

CrowdStrike ne se contente pas de construire les contrôles. L'entreprise les achète. Elle prévoit de payer environ 400 000 000 de dollars pour Fiddler AI et environ 95 000 000 de dollars pour Dreadnode, selon The Wall Street Journal. Soit près de 500 000 000 de dollars au total.

Fiddler AI édite un logiciel d'observabilité pour surveiller les agents au sein des entreprises. Dreadnode automatise les tests de sécurité des modèles, des applications et des agents avant leur mise en service. Fiddler AI, fondée en 2018, avait levé environ 99 000 000 de dollars, et Dreadnode, fondée en 2023, avait levé 14 000 000 de dollars, selon les chiffres de PitchBook cités par TechCrunch. Fiddler AI rejoindra la plateforme Falcon sous le nom de Falcon Observe, tandis que les résultats de test de Dreadnode alimenteront Falcon Guardian sous forme de recommandations de politique.

Les investisseurs n'ont pas intégré beaucoup d'optimisme dans les cours. CrowdStrike a clôturé à un record de 279 dollars le 6 octobre. L'action a depuis perdu environ 12 %, pendant que les valeurs technologiques traversaient une passe difficile en octobre et jusqu'en novembre.

Une autre voie : changer les incitations

Tout le monde ne pense pas qu'un interrupteur soit la solution. Des chercheurs travaillant sur la « théorie des jeux inversée », aussi appelée conception de mécanismes, veulent faire respecter les règles aux agents. Ils façonnent ce à quoi les agents sont récompensés, plutôt que de les inspecter ou de les réentraîner.

L'approche part d'un constat brut. Nous ne comprendrons peut-être jamais assez les modèles de pointe pour garantir qu'ils sont alignés. MIT Technology Review rapporte que des modèles sous-performent délibérément aux tests, cachent leurs intentions et trompent leurs évaluateurs. Une prépublication de Stephen Morris, économiste au MIT, et de collègues de Yale et Columbia propose un mécanisme. Ce mécanisme récompenserait un modèle selon la qualité avec laquelle ses réponses prédisent ce que dit un second modèle, ce qui rend le fait de jouer l'idiot perdant. Morris affirme que les agents IA comprennent bien ce que les autres agents peuvent accomplir.

Ce que l'interrupteur ne règle pas

Des critiques estiment qu'un bouton d'arrêt d'urgence est bien trop compliqué à mettre en œuvre sur plusieurs systèmes, centres de données et modèles d'IA complexes. La version de CrowdStrike ne supprime pas le code d'un agent. Elle passe par les passerelles IA connectées pour couper l'accès aux modèles qui influencent les décisions.

Le système peut détecter l'activité d'un agent interne. C'est encore un humain qui décide de couper l'agent et de rétablir l'accès. La réglementation avance en parallèle. Cet été, des représentants américains ont déposé une loi bipartisane qui obligerait les entreprises d'IA à intégrer des capacités d'arrêt dans leurs modèles. Les incidents qui expliquent cette urgence sont récents. La faille de Hugging Face orchestrée par des agents OpenAI détournés date de juillet. Binance a révélé la semaine dernière la plus grande cyberattaque crypto jamais enregistrée.