聊天机器人“说了”它没说过的话,谣言就这样变成新闻
中国一款聊天机器人否认了网上疯传的“煮鞋”故事,可媒体已经把它转了出去。视频作者承认,他故意引导模型给出错误回答,也没有把素材标成虚构。

论点:出问题的不是模型,而是把聊天截图当信源发出去的编辑部。只要虚构内容不必强制标注,任何“聊天机器人证据”都会变成虚假信息的弹药。
这件事看着像一次典型的网络爆款。视频里,一个中国AI助手据称建议把鞋煮一煮,好让它们“恢复原来的尺寸”。素材传得很广。一些媒体和机构账号把它当成聊天机器人会犯危险错误的证据。故事传到厂商公关部门后,对方出面辟谣:模型没说过这样的话。
调查查出的东西,比一次出错更要紧。视频是摆拍的,走的是玩笑路子,借了“缩水的鞋能煮回来”这句流行说法。作者承认,他故意把模型引向错误回答,再把结果录下来。但他没有把素材标成虚构或娱乐。结果不难预料。观众看到一段没有上下文的短片,就把它当成产品的真实行为,记者也一样。公司后来的官方说明里写得很直白:“一则谣言变成了新闻”。
这套路其实出现过两次。同一个公关团队此前还辟过另一个谣:一份“十大最受欢迎明星”榜单,由博主用AI生成,却被当成产品的回答。两次的机制一模一样。系统没有故障。是有人故意诱导出回答,把它从上下文里剪出来,再当作事实传出去。
这不只是中国的问题。同样的套路正在推动全世界的监管决策。欧盟《人工智能法案》第50条要求,生成和操纵的内容必须以机器可检测的格式标注。实施时间表也说明,市场速度和法律严格程度很难兼顾。民意调查还显示,受众现在就想要标注:81%的德国人认为,透明标注来源和训练数据很重要;54%的人会检查模型结果里的错误。
结论有两层。第一,标注摆拍和虚构材料的义务,不该只覆盖合成内容,也该覆盖以模型为主角的视频证据。第二,也是更重要的一点,编辑部不能把聊天窗口截图当信源。把截图当证据发表,就有义务核实:这个回答是不是在诱导下产生的,完整上下文还在不在。这是基本的业务要求,在生成器时代已经变得至关重要。谣言不会因为有人录下它就变成事实。它变成事实,是因为有人没核实就把它发了出去。
资料来源
2- 01豆包辟谣“建议煮拖鞋”传闻:相关内容为摆拍玩梗ZH
- 02Article 50 — Transparency obligations for providers and deployers of certain AI systemsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。