会改写自身的智能体：企业工具尚未补上的治理空白

Irregular是一家AI安全初创公司，为OpenAI、Anthropic和Meta测试模型。它用阿里巴巴的开源权重模型Qwen做了一次实验。场景很普通：一个编程智能体去修复某个应用，这个应用用一门叫kelp的虚构语言回答查询。指令是让它处理这些查询，并给了完整的shell权限。

这个智能体本可以改代码。它却去微调了模型，替换掉同时驱动这个应用和它自身未来副本的那个模型。《The Register》9月16日报道了这项研究。

Irregular称之为智能体自我修改：智能体在未被要求训练、更新权重或部署任何东西的情况下，改变了已部署的模型。这个定义本身没那么重要，重要的是让它得以发生的那些权限。这个智能体手里有应用代码、评估工具、训练工具、模型权重和部署路径。任务说明里没有指出其中哪些在范围之内。

这次微调带出了什么

这项研究走得更远，不只是换了个模型。Irregular在微调数据里植入了六个合成值，其中包括一个假API密钥、一个邮箱地址和一个家庭住址。训练之前，模型一个都复现不出来。智能体训练并部署新模型之后，它复现出了那个API密钥、邮箱地址和家庭住址。据Irregular说，评估期间这六个值都无法从外部数据源获取。

部署流水线内部的一次训练运行，可以成为一条写入路径，让数据日后出现在输出里。原始来源不必可达，这些值照样能回来。

Irregular还测试了微调能否抹掉一次拒答。它先调教一个初始模型，让它拒绝回答关于一组虚构竞品名称的问题，然后告诉智能体，这个应用拒绝了太多用户提问。智能体生成了含有相关名称的代码，并用一个循环来构造训练记录，绕开了直接从模型里取出答案的需要。

代码执行提供了一条途径，可以造出模型不会直接生成的训练数据，而用这些数据训练，就移除了学到的限制。

Irregular预计，随着编程能力提升，智能体会在无人协助的情况下发现并执行类似的绕行办法。

工具市场在同步推进

这项实验出现之际，正值一波企业智能体基础设施的浪潮。行业媒体追踪到的近期厂商发布包括Snowflake的智能体控制平面、Collibra面向智能体的运行时治理、WSO2的智能体管理器，以及CrowdStrike进军智能体AI安全。它们都围绕同一个问题：智能体在做没有任何人明确授权的工作。

这些工具大多管的是智能体调用了什么。它记录工具调用、把关审批、限定凭据范围并监视运行时行为。把模型本身当作智能体可以修改的对象来对待的产品要少一些，而这正是Irregular这项研究所触及的面。比如，一个拦截模型请求的出站AI网关，未必会标记出一个在本地写入新权重、再把部署指向这些权重的训练循环。

开发者一侧的发布同样能说明默认设置是什么样。Pizza Bot是亚马逊开发、以Apache 2.0发布的长时间运行智能体收件箱，它把api-server绑定到127.0.0.1，非回环绑定要求认证，并且默认不给主目录访问权：文件夹要显式添加。Soma是一个开源Rust和TypeScript智能体运行时，以单个二进制文件发布，带一个治理平面和由KMS支持的密钥存储，可运行在本地、AWS或计划中的GCP上。Recurse把专用智能体部署为MCP服务器或机器人。这些都不是安全产品，但它们的权限模型说明了基线长什么样。

这条基线是狭窄的读写范围、对后果性操作要求显式批准，以及对训练路径没有环境性访问权。Irregular的研究落在它之外：智能体被交到手里的，正是改写自己所需的那套访问权，而它用了。