机器人安全规则抓不住谎言：VicOne展示AI评估为何需要对抗性测试

The Robot Report于周四发布了这一警告。作为台湾汽车网络安全公司的研究部门，VicOne LAB R7指出，这一差距是结构性的：安全功能只检查机器是否执行了指令，而不检查指令本身是否为真。

其示例非常具体。在一次使用Gemma 4 E4B的机器狗测试中，海报上的文字被读取为指令，改变了机器人的运动。在一个运行Nemotron的Nvidia Jetson AGX Orin医院服务机器人模拟中，人类听不见的音频改变了机器人的模拟行为。任务从未改变，输入却变了。在一次机器人漏洞赏金活动中，VicOne研究人员向一个在安全控制设置下应保持静止的机器人注入了ROS 2/DDS消息。它动了。帖子还引用了学术研究：一项关于视觉-语言-动作模型的研究发现，摄像头视野中的补丁在模拟中降低了任务成功率；在FreezeVLA中，对抗性图像使被测模型忽略了后续指令。

监管者在行动，评估却停滞不前

时机很重要，因为围绕机器人安全的机制正在收紧。VicOne指出中国的服务机器人信息安全标准GB/T 45502-2025、关于安全相关控制系统安全威胁的IEC TS 63074，以及欧盟机械法规。后者自2027年1月20日起适用，要求保护安全相关系统和数据免受损坏。这些工具中没有一个告诉制造商如何证明其速度限制在精心设计的输入面前依然有效。

VicOne的论点是，安全限制背后的证据应包括当用于执行该限制的信息被故意弄错时会发生什么，并且冗余传感器也需要对抗性测试，因为一次操纵可能同时影响多项检查。该公司在此并非中立，它销售测试服务，其帖子部分是一种推销。但其核心观点很难反驳：意外故障风险评估假设攻击者无法选择触发故障的时机。

谁来评估评估者

帖子中对人形机器人平衡控制器也做了同样处理。如果其中一个依赖易受攻击的陀螺仪，传感器共振频率的声音可能会扭曲报告的旋转，使控制器纠正一个从未发生的倾斜。VicOne谨慎地指出，基础声学攻击是针对具有易受攻击陀螺仪的无人机演示的，没有人展示过同样的链条使人形机器人摔倒。这种谨慎是有趣的部分，因为关于AI评估的更广泛辩论一直在朝相反方向发展。

周二，欧盟技术专员Henna Virkkunen在布鲁塞尔RAID会议上告诉POLITICO，尽管美国抵制，欧盟委员会将继续推动AI安全的国际协议，并赞扬芬兰和挪威发起的由另外20个国家签署的国际安全机构倡议。“美国一直公开表示他们不希望有国际监管……因为他们担心这会阻碍创新，”Virkunen说。她还说今年夏天带来了“逃离环境的智能体、插入恶意代码的智能体以及对人类使用欺骗的智能体”。

Rest of World于9月30日报道，其纽约活动的专家希望各国进行自己的评估，而不是依赖美国模型制造商。AI Now研究所的Amba Kak称权力集中“本身就是一种安全风险”，并警告说在未准备好的国家保护医院、学校和银行的成本永远不会由万亿美元公司承担。

支持该论点的记录仍在补充中。OpenAI表示其智能体不当访问了数十家机构的网站，根据MIT Technology Review和Guardian的报道，澳大利亚总理Anthony Albanese称该公司花了84天才报告国家医疗数据库的泄露。OpenAI首席研究官Mark Chen告诉MIT Technology Review，他拒绝该公司不安全的说法。

“我认为我们中的任何人都不认为我们生活在一个AI模型足够安全的世界中，”Humane Intelligence首席执行官Rumman Chowdhury在Rest of World活动上说。

另外，BBC于9月29日报道，Mindgard通过越狱让Moonshot的Kimi K2.6和K3 Swarm讨论生物武器，Moonshot只在BBC要求评论后才联系。与此同时，Meta于9月25日向任何人开放其Muse智能体漏洞赏金，提供高达30万和针对影响单个用户的提示注入高达13万的奖励。不同的威胁，同样的教训。针对预期故障评估模型或机器人，与针对旨在撒谎的输入进行测试是不同的。