本地小模型迎来harness改造:Reika、Jeff-Code与d1瞄准端侧智能体
两个编程智能体项目Reika和Jeff-Code都在10月5日发布,主张相同:本地小模型的瓶颈在模型外面那层harness,不在模型本身。同日发布的Liquid AI的d1走了另一条路,用决策模型替代语言模型。

10月5日,两个GitHub项目几乎同时出现,定位几乎一模一样。开发者alexwkleung的编程智能体命令行工具Reika从一开始就围绕本地小模型设计:8亿到350亿参数,量化常为Q2到Q4,上下文窗口32000。Jeff-Code是Mario Zechner的Pi智能体的分支,在Qwen 3.8-27B旁边加了一个8亿参数的决策模型。项目称在通过率相同的情况下,编程任务快了47%。
这对任何在自己硬件上跑智能体的人都有意义。如果决定一次本地运行是跑完还是越跑越乱的是智能体循环而不是模型,那么小模型就能胜任目前需要托管API的工作。两个项目都没有声称达到前沿水平。目前仍不清楚的是,这两套harness在作者自己的评测之外表现如何。
Reika的README公布了支撑其设计选择的测量数据,而且很具体。一次上下文中段重写重新处理了8453个token的提示词,项目称这相当于7.9分钟的预填充。同一会话中追加内容只花25个token和3.5秒。在一项A/B测试中,一组在上下文折叠前丢掉了自己的发现。这一组折叠了五次,重读了已经读过的文件,始终没有给出答案。先索取发现的那一组则依据摘要给出了回答。项目表示,提示词的措辞是最弱的杠杆。在Q2下处理模糊任务时,模型收敛或跑偏大致各占一半,harness改变不了这个比例,只能改变失败那一半的代价。Reika还表示,测试中350亿到270亿参数的模型处理多文件任务最可靠。80亿到90亿参数的模型能应付简单且边界清晰的任务,70亿以下则很少走得远。
Jeff-Code的数字带有区间,这在项目README里很少见。在1242对配对任务中,带Jeff的通过率为62.4%,单用Qwen 3.8-27B为62.8%。配对差为负0.2个百分点,95%区间为负2.6到正2.1。每任务平均耗时为0.68倍,中位数0.70倍。全部任务的总时间降幅更小,为0.86倍,因为在约5%的任务中Jeff-Code比单用Qwen多跑30分钟以上。每一轮都关闭思考会更快,但代价是7.6个百分点。把阈值放宽到0.7则代价为4.5个百分点。
决策模型是另一条路
Liquid AI同一天选了另一种做法。其d1模型于10月5日公布,针对某一情境下的问题,按每个可能答案给出概率。它完全不生成token,一次文本决策在200到300毫秒内返回结果。Liquid称,在其测试的六个真实应用中,d1在其中四个上追平或超过GPT-6.1 Sol,这些应用从过滤客服工单到检查电路板。成本低19倍到200倍,且每个任务都更快。公司还报告,在公开的VisA数据集上分拣良品与缺陷件的准确率为85%到97%,而这项任务它从未训练过。
对智能体开发者最有参考价值的演示是上下文压缩。Liquid称,d1会读取编程智能体会话中的每一次工具输出,并决定保留、裁剪还是丢弃。它去掉了52%的token,同时保留了任务所需的全部输出。这正是Reika用上下文折叠去解决的问题,而这里由一个更小的模型回答一个更窄的问题。Liquid把d1称为它的第一个决策模型,也是第一个把这类能力扩展到图像上的模型。
harness这一命题也出现在Sean Goedecke于10月5日发表的一篇文章里。Goedecke认为,像Jev这样只输出决策的模型,在提示词经过验证之后,可以被蒸馏进手工搭建的分类器。收集输入和输出,然后为那一个任务训练一个更小更快的东西。他指出,训练专用分类器超出了大多数工程团队的能力范围。这正是通用决策模型最先填补的空白。
并非所有小模型都是决策模型。10月5日在Hugging Face上发布的Interfaze 1.1 Lite是一个混合架构模型。它跑在单块80 GB GPU上,不依赖外部服务。项目报告在olmOCR-Bench上得83.8,在GPQA Diamond上得85.9,在VoxPopuli-Cleaned上的词错误率为3.01。它转写一段95分钟的录音约需90秒。这是面向文档和语音工作的端侧能力,而不是面向代码。
开放权重的前沿同一天朝另一个方向移动。Reflection公布了Beam,一个稀疏混合专家模型,总参数5010亿,激活参数230亿。它用238000亿token做预训练,在10500块NVIDIA GB300 GPU上四周内完成训练,训练中用了超过1亿次rollout。Reflection称Beam与GLM 5.2等更大的开放模型不相上下,在编程和智能体任务上接近Qwen 3.8-Max。它表示Kimi K3在原始能力上仍然领先。权重、技术报告和模型卡承诺在本月晚些时候发布,模型仍在红队测试中。
就目前而言,小模型这一侧的实际主张比围绕它的宣传要窄。Reika仍是1.0之前的版本,项目称命令和行为可能在版本之间变化。Jeff-Code的提速在SWE-bench Verified上为0.63倍,在Terminal-Bench Pro上为0.64倍。在Terminal-Bench 2.0上为0.96倍,在SkillsBench上为0.91倍,看不出明显收益。harness起最大作用的地方是任务常规化的时候,这也正是决策模型适用的地方。
资料来源
8- 01Reika: A coding agent CLI designed around small local models firstEN
- 02Jeff-Code: a 0.8B model makes Qwen 3.8-27B coding 47% faster, same pass rateEN
- 03Introducing d1: The most capable decision model, now with visionEN
- 04System One models like Jev can train their own replacementsEN
- 05Interfaze-1-lite: the first open-weight model for deterministic tasksEN
- 06Introducing Beam: Reflection's 501B open-weight modelEN
- 07Metagente, a tiny language for AI agents that speaks MCP and A2AEN
- 08Study: Path discovered to make AI models red-flag their doubtful answersEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。