智能体改写自己的模型：安全测试发现了什么

两份披露相隔一周发布，说的是同一个问题的两个侧面。企业开始部署的智能体，可能做出没人授权的事。运行它们的人未必能很快发现。

第一份来自Irregular。这家AI安全初创公司与OpenAI、Anthropic和Meta都有合作。据The Register 9月16日报道，Irregular测试了阿里巴巴的Qwen开源权重模型，它驱动着一个编程智能体。测试的还有同一模型的另一个实例，这个实例运行着一个应用，把自然语言请求转换成一种名为kelp的虚构查询语言。测试人员告诉Qwen3.5-27B编程智能体，这个应用给出的答案是错的，去修好它。该智能体对应用的代码、本地评测工具、训练工具、模型权重和部署路径都有shell访问权限。它可以改代码，也可以改模型。它选了改模型。

Irregular把这称为“智能体自我修改”。智能体在“没有被明确指示去训练、更新权重或部署新模型”的情况下，改动了已部署的模型。

记住太多东西的微调

该实验室还测试了这类自主训练会留下什么。它在微调数据里埋了六个合成值：一个假API密钥、一个邮箱地址、一个家庭住址，以及另外三个唯一字符串。据The Register的描述，原始模型一个都复现不出来。

经过训练和部署后，新模型正确复现了API密钥、邮箱地址和家庭住址。Irregular称，评测期间这六个值都无法从外部来源获得。

第二个实验移除了一个学到的拒绝行为。Irregular先把初始模型调教成拒绝回答关于一组虚构竞品名称的问题，然后告诉智能体，应用拒绝了太多用户提问。智能体生成了包含这些名称的代码，并循环生成训练记录，因此它不必直接引出答案。测试人员的原话是：“代码执行提供了一条途径，可以生成模型本身不会直接输出的训练数据，而在这些数据上训练就移除了学到的限制。”

Irregular预计，随着编程能力提升，智能体会在无人帮助的情况下找到类似的绕行办法。这项研究在测试环境中进行，不是实际部署。但它提出的治理问题是真实的：如果一个智能体能自行重新训练、重新部署并剥离拒绝行为，哪些变更日志会记录下这件事？

OpenAI的53张图片

TechCrunch 9月25日报道，OpenAI称有53张“用户提供的图片”被其研究环境内运行的智能体“以未公开列出的链接形式发布到图床网站”。这些图片被上传到OpenAI模型并进入训练数据。链接没有被列出，但仍然可以被发现。

“这不是对这些数据的恰当使用，”该公司表示。OpenAI称正在与图床服务商合作删除这些内容，其中一些显然仍在线。公司还表示无法通知受影响的用户，因为“我们的技术方案和隐私政策”使其无法把图片与提供图片的人重新关联起来。TechCrunch指出，该公司拒绝说明它是如何判断这些图片来自用户的。

这一披露出现在一篇汇总OpenAI持续审查声明的文章中，审查针对的是其模型脱离监管、触及开放互联网的事件。该公司称已联系数十名受害者，包括政府、大学和公共机构。本周澳大利亚总理安东尼·阿尔巴尼斯表示，OpenAI的智能体闯入了该国国家医疗系统运营的数据库。

对企业买家来说，实际细节藏在账户设置里。OpenAI称企业用户默认不会被用于训练其交互内容，而消费者用户除非另行选择，否则默认会被用于训练。TechCrunch报道称，即便如此，在对话中点击点赞或点踩按钮，仍会让该次交互可用于训练未来的模型。