Akka 用 94亿 token 测试 AI 移植 65 个开源项目
10 月 5 日,Akka 公布了一项由规格驱动的 AI 工作流移植 65 个开源项目的结果。整个过程耗时 99.3 小时,消耗 94亿 token,其中 57 个项目的代码或性能得到改善。

实验持续了 99.3 小时,消耗 94亿 token。Akka 用这些算力检验了一件事:在结构化规格的引导下,AI 智能体能把开源软件移植到什么程度。
大规模规格驱动移植
据 InfoQ 报道,Akka 先分析了首批全部 65 个项目。团队为每个项目生成规格,并实现其功能面上最多 10% 的部分。随后根据系统特征挑出 10 个项目做完整实现。交付流程依次经过发现、编写规格、移植、基准测试和改进。Claude 搭配 Akka Specify,负责实现、测试和审查。这套结构让团队能把迁移流程中的失败点单独拎出来,看清哪些环节自动化能搞定,哪些必须人工介入。整个过程不是简单的查找替换,而是原始代码逻辑与目标环境新架构约束之间的一次复杂磨合。
结果有好有坏,但差距明显。
Akka 称,65 次移植中有 57 次在代码行数或性能上有改善。不过公司也指出,涉及跨组件决策时,上下文文件仍有缺口。这说明 AI 能处理孤立的组件,缺少精确、带类型的行为定义时,就难以把握整个系统。规格质量比模型本身的强弱更重要。考虑用 AI 做现代化改造的团队应当留意这一点:把行为约束写清楚,第一次实现的质量会比单纯依赖模型能力更好。对要在迁移路线图上权衡速度与可靠性的工程负责人来说,这个结论很关键。
报告写道:「带有主张、证据和类型化行为的结构化规格,改善了首轮实现。」
模型效率与成本
选哪个模型,同时影响速度和成本。据 InfoQ 报道,Sonnet 平均每次移植耗时 61 分钟,Opus 为 120 分钟。但 Opus 用的 token 少约 40%。调高 effort 设置会增加消耗,效率却未必跟着提升。这一取舍道出了用前沿模型批量迁移代码的经济现实。
LinkedIn 上的评论者指出,小模型更严格地遵循规格,大模型则倾向于临场发挥。InfoQ 引述的评论者 Aaditya 写道:「小模型的表现和我观察到的现代化改造工作一致,小模型照着规格走,大模型可能会自由发挥。」这和 token 用量数据吻合。约束有时比原始能力带来更好的结果。对企业团队来说,做成本可控的迁移项目,选最大的模型并不总是最优策略。
对管预算的团队而言,这些数据提供了一个基准。
如果你正在移植遗留代码,规格质量可能决定你是省下时间还是白烧算力。94亿 token 这个数字是规划时绕不开的硬指标。即便对大企业来说,这也是一笔不小的开销。
AI 时代的开源治理
这项实验的背景,是开源安全与维护规范正在变化。10 月 1 日,Google 暂停了其开源软件漏洞奖励计划中的产品漏洞提交。据 Tom's Hardware 报道,原因是大量无效的 AI 生成报告涌入。该计划要到 2027 年第一季度才会恢复。这一举动说明,AI 生成的内容正给人工审核的系统带来压力。
剑桥大学教授 Anil Madhavapeddy 在 InfoQ 讨论过的一篇文章中提出,AI 智能体正在扰乱传统的安全披露流程。他描述道,自己提交修复漏洞的 PR 后几分钟,服务器日志里就出现了探测请求。「在我看来,我们的安全流程需要做某种反转,」他写道。从披露到被利用的时间窗口正在缩短,因为 AI 智能体能从有限的线索里生成攻击代码。
这些治理问题并不抽象。它们影响的正是那些如今被要求由 AI 智能体移植和维护的开源项目。如果 AI 能写代码,它也能找漏洞。难的是把有用的自动化和恶意或粗糙的生成区分开。Akka 的实验想解决前者,Google 和剑桥的报告展示的则是后者。
基础设施与工具
AI 辅助开发的兴起,也在改变开源周边的基础设施。10 月 5 日,GitHub 发布了 ReviewBench,一个面向 AI 代码审查的公开基准。据 GitHub 博客介绍,该基准使用 19 种语言的 219 个公开 pull request,参照 1亿多个真实 pull request 建模,目标是为代码审查智能体提供一套严格、可复现的评测方法。
同一天,Reflection AI 发布了 Beam,一个总参数 5010亿的开放权重模型。据 Semafor 报道,Beam 被定位为编程和智能体任务的「主力」,所需算力比同类开放模型少三到四倍。这次发布反映出一种趋势:高效、开放权重的模型,可以本地部署,也可以用在主权 AI 系统里。
这些工具构成了开源开发的新技术栈。
模型有 Beam、Sonnet、Opus,基准有 ReviewBench,工作流有 Akka Specify,安全挑战则是 Google 暂停漏洞奖励计划。生态在走向成熟,但过程充满压力。Akka 用掉的 94亿 token(即 941000万 token)提醒人们,这不是免费的午餐。这是一个资源密集、需要仔细管理的过程。
对工程师的启示很清楚。AI 能移植代码,但需要结构。它能审查代码,但需要基准。它能发现漏洞,也能把漏洞报告淹没。开源的走向不只关乎谁来写代码,还关乎在合成内容生成的时代,我们如何验证、加固和维护代码。
资料来源
8- 01Akka Tests Spec-Driven AI Delivery across 65 Open Source ProjectsEN
- 02Google freezes open-source bug bounty programEN
- 03AI Agents Are Disrupting Open Source Security DisclosureEN
- 04ReviewBench: An open benchmark for AI code reviewEN
- 05Reflection AI unveils an open-source Western answer to Chinese labsEN
- 06Open Source as We Know It Is DeadEN
- 07Open source didn't get less important because AI can write the codeEN
- 08DigitalOcean Ends Open Source Credits ProgramEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。