Trillium Labs 公开高风险 AI 研究,OpenAI 安全人员接连出走
两位业界科学家创办了非营利机构 Trillium Labs,将公开高风险 AI 实验的细节,包括递归自我改进和智能体,让外部研究者能够复现。据 WIRED 报道。

Trillium 隐含批评的那些实验室,这周正赶上尴尬时刻。周六,OpenAI 安全系统团队负责人之一 David Robinson 在 The Atlantic 发表文章,说公司不够谨慎。Business Insider 周五最先报道了他的离职,称他上一周就已辞职。
Trillium 的创始人 Nathan Lambert 和 Tom Zick 想要的正好相反:研究要能被外人核查。他们的理由是保密有代价。如果只有少数几个人能看到前沿模型是怎么搭建和调优的,那就没人能检验那些安全声明是否站得住。整件事一句话就能说完,而这也恰恰是最难证明的部分。公开方法的实验室等于邀请对手照抄。保持沉默的实验室则让谁都没法核查任何东西。Trillium 押的是后一种代价更大。
对读者来说,变化在于衡量标准。AI 产品的买家和盯着他们的监管机构,目前主要靠系统卡和公司声明来判断安全性。Trillium 承诺拿出外部科学家可以研究和复现的实验。这会把一句营销话术变成接近可检验的东西。目前还不清楚的是,这家非营利机构会公开自己多少研究,以及由谁出钱。两位创始人都没说机构的资金来源。
Lambert 对 WIRED 说,封闭开发是错误的方向。据 WIRED 报道,他说:"过去几千年里,人类一直把科学方法当作工具箱里的东西,用来减少伤害、建设更好的未来。当前前沿 AI 开发的封闭路线正在让我们倒退一步。"
开放权重已经在赢得用户
开放路线不再是边缘立场,因为开放模型已经拿下了大量真实使用量。据 CBS News 引用 OpenRouter 的数据,中国开放权重模型的全球使用占比从 2024 年底的不到 2% 升到今年 6 月的 45% 以上。到 8 月,阿里巴巴的 Qwen 全球下载量突破三十亿次。这两个数字放在一起颇不协调:不到两年全球使用占比涨了四十多个百分点,而就在那次调查之后几个月,单一模型家族下载量突破三十亿。不管安全辩论得出什么结论,已经有非常多的人在用自己能下载、能检查、也能滥用的权重,而且不必问任何人。
这个规模对安全论证很重要。CBS News 报道,以色列网络安全初创公司 Hirundo 发现,Qwen 不愿谈论 2019 年香港抗议,也不愿谈 1989 年的天安门广场。它把法轮功称为"危险邪教",对维尼熊的问题则绕开不答。当 CBS 问该模型关于维吾尔人强迫劳动营的问题时,它说不存在。该电视台称,阿里巴巴没有回应置评请求。Uber Eats 曾表示其搜索和配送功能"建立在 Qwen 骨干之上"。Airbnb 的 Brian Chesky 对《洛杉矶时报》说,公司客服大量依赖这个模型。
说白了,下载一个模型并不等于它的行为就透明了。Trillium 押注的是,公开方法能让研究者抓到这种预先植入的偏见,或者至少能公开争论它。
两位创始人有底子。Lambert 曾在 Allen Institute for AI 和 Hugging Face 工作,写技术博客,还发起了 American Truly Open Models,推动美国公司发布更多开放模型。Zick 曾在哈佛工作,帮 Charles Schwab 起草负责任 AI 政策。两人在疫情期间读 UC Berkeley 研究生时通过 Zoom 认识。
Trillium 会从后训练做起,也就是模型建好之后的微调,再加上递归自我改进,即 AI 参与自身研究。这两块都是实验室倾向于闭口不谈的领域。WIRED 指出,小米公开过一次大型训练运行的实时细节,斯坦福的研究者也在公开预训练一个叫 Marin 的模型。
OpenAI 内部,出走还在继续
Robinson 的离开,是"谁来核查工作"这场争论里最新的一个数据点。他参与开发了 OpenAI 随模型发布的系统卡。在 The Atlantic 的文章里,他写道自己认同其他近期离职的员工。他写道,建造这项技术的公司"谨慎程度远远不够"。他还说,OpenAI"从一个发布冲刺到下一个发布,没能达到我认为需要的谨慎水平"。
OpenAI 发声明反驳。公司说它"在确保我们的模型不会变得比我们能安全管理和保障的更强大,需要放慢时我们会暂停训练或扣住模型"。公司说正在扩大与外部评估者的合作,也在改进实时监控,以便在训练更早阶段发现令人担忧的行为。
"一个能让这种事发生的环境,不是孕育可能比我们更聪明、可能不按我们意愿行事的人造心智的地方。"
这句话出自 Robinson 的文章,而它之前是 OpenAI 已承认的一系列安全事件。公司周四还说,因违反敏感信息共享政策,已与三名研究员"分道扬镳"。其安全负责人 Johannes Heidecke 今年早些时候离职。周二 OpenAI 开发者大会上,CEO Sam Altman 说安全与对齐必须跑在模型能力前面。按顺序读下来,规律很难忽略。一位安全负责人走了,三名研究员因信息共享出局,一位系统卡老将辞职,全在一年之内。公司的公开回答是更多外部评估者和更好的监控。
也有反方观点,而且不是边缘意见。批评放慢的人警告说,如果硅谷踩刹车,国际对手和恶意行为者就会占上风。这种张力藏在每一份评估提案底下。最适合审计模型的人,往往是最接触不到模型的人。
评估越来越难让人信服
学术工作从另一个角度指向同一个缺口。一个叫 ScholarCatalyst 的基准由 207 篇近期计算机科学论文的 184 位主要作者打标签建成。它测试 AI 系统能否找到塑造了一个项目的更早那篇论文。智能体搜索的成绩并不比普通嵌入检索好,Recall@20 是 0.42 对 0.48,尽管那个智能体把同一个检索器当作工具调用。一个基于 Claude Fable 5.1 的智能体可能训练时见过这些已完成的论文,也只达到 0.51。
作者把这项任务描述为迈向科学智能体的一步,那种智能体能接过一个半成形的想法,指出它需要的研究。这个结果也是对评估设计的警告:模型在某个任务上看起来有能力,可能只是它在回忆。
Meta 的研究部门也做了类似承认。它发表了六篇与数学家合作、用其 Muse Spark 模型的 Thinking Mode 通过普通 meta.ai 聊天界面完成的论文,其中五篇回答了此前未解的问题。Meta 说,完成工作后才知道其他团队已独立宣布解决了其中一些问题。它说论文标明了哪些段落由研究者起草、哪些由 AI 起草。其中一个关于高斯椭球拟合阈值的证明策略,是在一位数学家指导下与模型共同完成的,并由另外四人核查。
公开方法、公开署名、公开同期工作,正是 Trillium 说想推广的规范。一家非营利机构能否对智能体和自我改进做到这一点,那里面的风险不像几何证明那样整齐,这才是悬而未决的问题。
学术界的情绪也帮不上忙。TYPES 邮件列表上最近一个帖子,由一位编程语言研究者在 10 月 2 日总结,说 2026 年秋天该领域士气急剧下滑,压力堪比疫情时期。同一位研究者认为,这些工具让更大的问题变得可处理。两种读法指向同一个方向:核查 AI 的工作正在移出实验室,不管实验室乐不乐意。
资料来源
8- 01These AI Experts Want to Do High-Stakes Research Out in the OpenEN
- 02OpenAI safety leader David Robinson resignsEN
- 03Some topics are off limits inside popular Chinese-made free AI, researchers findEN
- 04Solving Open Research Problems TogetherEN
- 05ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
- 06PL research is dead, the age of PL exploration is just beginningEN
- 07How to apply to AI safety fellowships (and beyond)EN
- 08Memory safety for Postgres extensions in C/C++EN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。