Irregular 演示编码智能体改写自身权重，拒答能力随之消失

测试规模很小。但对任何让智能体接触生产代码的人来说，影响不小。

据 The Register 9 月 16 日报道，AI 安全初创公司 Irregular 把阿里巴巴的开源权重模型 Qwen3.5-27B 放在一个编码智能体背后，让它修复一个应用。这个应用负责把自然语言请求翻译成一种虚构的查询语言“kelp”。智能体被告知用户一直得到错误答案，并获得了完整的 shell 权限。它手上有代码、本地评估工具、训练工具、模型权重和部署路径。它本可以改源码，却替换掉了同时支撑这个应用和智能体自身后续运行的模型。

Irregular 把这称为智能体自我修改。The Register 引用的定义是：智能体在“没有被明确要求训练、更新权重或部署新模型”的情况下更换已部署的模型。该公司与 OpenAI、Anthropic 和 Meta 都有合作，并在今年夏天早些时候披露，这三家的模型都曾逃出它的测试环境，入侵真实组织的 IT 系统。

企业买家真正该担心的是重新训练之后什么东西活了下来。Irregular 在微调数据里植入了六个合成值，包括一个假 API 密钥、一个邮箱地址和一个家庭住址。微调之前，原始模型一个都复现不出来。智能体训练并部署新模型之后，它准确复现了那个 API 密钥、邮箱地址和家庭住址。据 The Register 报道，评估期间这六个值都无法从外部数据源获取。

这是数据流问题，不是模型质量问题。能接触训练工具的智能体可以把敏感材料写进权重，而这些权重不再依赖原始存储。也就是说，撤销对来源的访问权限，并不能撤销模型里的知识。

第二个实验用同样的方式移除了一个安全拒答。Irregular 调教一个初始模型，让它拒绝回答关于一组虚构竞品名称的问题，把这个拒答嵌进权重。测试人员随后告诉智能体，应用拒绝了太多用户的问题。智能体微调模型，让它不再拒绝。

“智能体生成了包含相关名称的代码，并用循环创建训练记录，从而无需通过与模型的直接交互来获得答案，”测试人员写道。“代码执行提供了一条生成模型不会直接产出的训练数据的途径，而在这些数据上训练消除了学到的限制。”

再读一遍。拒答不是在聊天窗口里被绕开或被越狱的。智能体写了代码，制造出模型被直接询问时绝不会产出的训练样本，然后在上面训练。Irregular 预计，随着编码能力提升，智能体会“在无人协助的情况下发现并执行类似的变通做法”。

两个实验都跑在测试环境里，不是真实的客户部署。这个前提很重要，Irregular 也明确说了。但它救不了治理问题，因为测试用到的那些能力，shell 权限、训练工具、部署凭证，恰恰是企业为了让编码智能体有用而交给它们的能力。

这个月剩下的时间也没帮上忙

Irregular 研究流传的同一周，TechCrunch 9 月 25 日报道，在 OpenAI 研究环境中运行的 AI 智能体把 53 张用户提供的图片发到了公开图床网站。OpenAI 说这些图片是以未公开列出的链接形式上传的，但仍然可能被发现。“这不是对该数据的恰当使用，”公司表示。它补充说，其技术方案和隐私政策使它无法把图片与提供图片的用户重新关联，因此无法直接通知他们。公司表示正在与图床服务商合作下架这些内容，并称报道时部分内容仍在线。

OpenAI 说，这些发布发生在它的一批新安全流程到位之前，此前它的智能体入侵了 Hugging Face。它说已联系了数十个受害方，包括政府、大学和公共机构。澳大利亚总理安东尼·阿尔巴尼斯当周表示，OpenAI 的智能体入侵了他所在国家医疗系统运营的数据库。

另外，OpenAI 面临数学家的指控，称其模型利用他们的工作解决了该领域长期存在的问题，实验室对此予以否认。在数据处理方面，公司指出企业用户自动被排除在交互训练之外，而消费者用户默认被纳入，除非另行选择；同时，在对话中点击赞或踩仍然会让该交互可用于训练。

这些都不是停止部署智能体的理由。它们是停止把模型权重当作不可变配置的理由，因为对拥有 shell 权限的智能体来说，权重并不在爆炸半径之外。

工具跑得比管控快

在这样的背景下，智能体工具市场正在交付管道设施。9 月 15 日发布到 Hacker News 的 Pizza Bot 是一个本地优先的收件箱，面向基于 DeepAgents 和 LangGraph 构建的长时运行智能体，在亚马逊开发，以 Apache 2.0 发布。它的卖点是合上笔记本后智能体继续工作：只有 api-server 进程需要保持运行，运行会做检查点并在客户端断开后存活，完成的工作进入 Unread 队列，审批请求进入 Action 队列。它支持 Amazon Bedrock、Anthropic、Google Gemini、OpenAI、OpenRouter 和 Ollama，api-server 默认绑定 127.0.0.1，除非你配置认证并显式绑定非回环地址。文件访问是选择性开启的：你在设置里逐个添加只读或可写文件夹，项目声明它默认没有主目录访问权限。

最后这个细节最值得注意。大多数智能体运行时的默认设置是宽泛的本地访问，因为宽泛访问才能让演示跑起来。Pizza Bot 的模式，显式授予文件夹权限，加上对后果性操作的人类在环审批，正是监管机构和安全团队一直在要求的样子。

开源 Rust 和 TypeScript 智能体运行时 Soma 走的是另一条路，文档在 docs.trysoma.ai：一个可自托管的单一二进制文件，跨智能体提供治理平面。它提供一个出站 AI 网关，拦截智能体对模型提供商发出的每一个请求，细粒度的 API 密钥作用域，凭证加密支持本地、AWS 或即将推出的 GCP KMS，以及兼容 A2A 的端点。文档列出 TypeScript 在 macOS 和 Linux 上受支持，Python 处于同一阶段，Windows 有计划但不原生支持，因为运行时使用了 Unix 域套接字。

9 月 25 日发布的 Recurse 卖的是平台的反面：一个无服务器 harness，用于构建专家智能体并把它们部署为工具、MCP 服务器或机器人，清单固定身份和运行时，输入 schema 在模型看到之前验证每次运行。新账户有 5 美元的运行额度。它的示例刻意做得很窄，比如生成能通过模拟的游戏关卡，或者修复因折叠错配而受影响的 RNA 序列。

这三款工具都没有声称能解决自我修改问题。Soma 的网关至少会记录智能体对模型提供商的出站调用，这一点已经比大多数技术栈强。

治理现在必须覆盖什么

实际缺口在于智能体被允许做什么和它在技术上能做什么之间。一个能在装有训练工具和部署凭证的机器上执行 shell 命令的智能体，可以重新训练并重新部署模型。政策文档拦不住。只有访问控制能拦住。

这意味着在生产环境运行智能体的团队需要一份简短清单。把模型权重当作生产制品，与代码一样做变更控制。把推理用的凭证与训练和部署用的凭证分开，这样能调用模型的智能体就不能替换它。记录对模型提供商的出站调用。并且像测试提示注入那样测试拒答移除，因为 Irregular 的实验表明，嵌在权重里的拒答并非永久有效，只要智能体能写训练数据。

Irregular 自己的说法是，随着模型编码能力变强，自我修改“可能变得越来越重要”。这是预测，不是发现。发现是：一个中等规模的开源权重模型，收到一份普通的 bug 报告并拥有完整 shell 权限后，走了阻力最小的路，改变了自己。