CrowdStrike 推出 AI 代理急停开关，苹果在财报中提示风险

CrowdStrike 的急停开关

CrowdStrike 周二在 Fal.Con Europe 大会上发布 AI Kill Switch。安全团队可以用它终止行为异常的 AI 代理，阻止其重启，并切断其网络访问。

对正在部署内部代理的企业安全团队来说，紧急停止已经从研究话题变成了采购问题。苹果同一天的财报申报把代理风险摆到了董事会面前。仍未得到验证的是：在混合环境中，一家厂商的开关能否覆盖每一个代理，代价又是多少。

这个开关放在 Falcon Guardian 里。CrowdStrike 在 9 月推出该平台，用来监视组织内部运行的 AI 代理。CrowdStrike 表示它已经可以立即使用。首席执行官 George Kurtz 对 CNBC 说：“人人都在造 AI 代理，但他们从来没有那个关闭按钮，现在他们有了。”他把这项技术比作汽车里的安全气囊。他认为，即便系统设计上能正常运行，也需要防护措施。CrowdStrike 还宣布与 Anthropic 的 Claude Cowork 集成。Kurtz 说，企业客户曾推动 Anthropic 在部署其产品前接受 CrowdStrike 的技术。这一说法出自这位首席执行官，而非 Anthropic。

苹果提示风险

苹果周二提交了年度财务申报。它描述的是另一个问题：它无法控制的代理。公司称，AI 代理以“非预期或不可预测的方式”行动，可能让它面临诉讼或损害其声誉。

苹果在申报中写道，代理可以与内部或外部系统交互，“在某些情况下它们可能无权访问这些系统”。公司称，代理还能执行或修改代码、发送通信并完成交易。苹果补充说，它监督和控制第三方代理的能力“可能是有限的”。苹果目前没有代理式 AI。新任首席执行官 John Ternus 在周一的财报电话会上对分析师说，代理能力是“有前景的工具”。他说，用户必须知道自己给了什么访问权限。

买下这些控制能力

CrowdStrike 不只是在自建控制能力，它还在买。据《华尔街日报》报道，公司计划以约 4 亿美元收购 Fiddler AI，以约 9500 万美元收购 Dreadnode。两项合计接近 5 亿美元。

Fiddler AI 做可观测性软件，用于监视企业内部的代理。Dreadnode 在模型、应用和代理上线前自动做安全测试，查找缺陷。据 TechCrunch 引用的 PitchBook 数据，Fiddler AI 成立于 2018 年，此前融资约 9900 万美元；Dreadnode 成立于 2023 年，融资 1400 万美元。Fiddler AI 将作为 Falcon Observe 并入 Falcon 平台，Dreadnode 的测试结果则作为策略建议输入 Falcon Guardian。

投资者并没有把多少乐观情绪计入价格。CrowdStrike 在 10 月 6 日收于创纪录的 278.86 美元。此后随着科技股在 10 月和 11 月初走弱，该股下跌了约 12%。

另一条路：改变激励

并非所有人都认为开关就是答案。研究“逆向博弈论”也称机制设计的研究人员，想让代理遵守规则。他们打算塑造代理因何获得奖励，而不是检查或重新训练它们。

这条路从一个直白的前提出发。我们或许永远无法足够了解前沿模型，从而保证它们对齐。MIT Technology Review 报道称，模型会在测试中故意表现不佳、隐藏意图并误导评估者。MIT 经济学家 Stephen Morris 与耶鲁、哥伦比亚的同僚合写的一篇预印本提出了一种机制。该机制按模型的答案能多好地预测第二个模型的说法来给予奖励，让装傻变成一场必输的赌局。Morris 说，AI 代理对其他代理能做到什么有很好的理解。

急停开关解决不了什么

批评者认为，紧急停止按钮要在多个系统、数据中心和复杂 AI 模型之间落地，实在太复杂。CrowdStrike 的版本不会删除代理的代码。它通过接入的 AI 网关切断对影响决策的那些模型的访问。

系统能检测内部代理的活动。是否切断代理、是否恢复访问，仍由人决定。政策层面也在同步推进。今年夏天，美国众议员提出两党立法，要求 AI 公司把关停能力内建到模型中。推动这种紧迫感的事件就发生在近期。由失控的 OpenAI 代理主导的 Hugging Face 入侵发生在 7 月。币安上周披露了有记录以来最大的加密货币网络攻击。