Jeff-Code在循环里放入一个8亿参数模型，把270亿参数编程模型提速47%

10月5日，该项目的GitHub页面挂出一项说得很窄的结论。Jeff-Code在Pi的智能体循环里跑一个8亿参数的决策模型，名叫Jeff。Pi是Mario Zechner及其贡献者开发的编程智能体。Qwen每走一步，Jeff就在旁边做两个快速判断，每个约0.2秒：下一步该不该自己执行，以及这一轮Qwen要不要使劲想。

在1,242个配对任务上，Jeff-Code的通过率为62.4%，单用Qwen 3.8-27B为62.8%。配对差值为负0.2个百分点，95%区间为负2.6到正2.1。每任务平均耗时降到0.68倍，区间0.64到0.72，中位数为0.70倍。47%这个数字就是这么来的：平均省下32%的时间。

这就是2026年真正落地的端侧AI的样子。小模型不写代码，也没人声称它会写。它决定的是哪些可以跳过。

同样的思路也出现在Liquid AI的d1上。这是一个决策模型，输出概率而不是生成token。Reika也是如此，这个编程智能体命令行工具围绕80亿到350亿参数的模型搭建，量化到Q2至Q4，窗口为32000个token。对用户来说，实际问题已经不是小模型够不够聪明，而是它够不够便宜，便宜到可以一直开着。Jeff-Code和Liquid都没有说明，这些系统在比工作站GPU更慢的硬件上表现如何。

框架能修什么，不能修什么

Reika的文档用测量数据说话，不用形容词。项目报告称，一次上下文中段的改写重新处理了8,453个token的提示词，预填充花掉7.9分钟；而在同一会话里追加内容只花25个token和3.5秒。它还发现，提示词的措辞是手里最弱的杠杆。在Q2量化下面对一个含糊的任务，模型大约有一半概率收敛，一半概率打转，框架改不了这个比例。它只能改变失败那一半的代价。

测试结果按设计就不客气。页面写着：140亿到350亿参数的模型处理多文件任务最可靠，80亿到90亿参数的模型能应付简单、边界清楚的任务，70亿参数以下的基本走不远。首页演示跑的是Qwen3.6 35B，用Unsloth UD-IQ2_M量化，经llama.cpp运行，加速三倍，而模型的第一次测试是失败的，它靠报错信息才改对。Reika还在1.0之前，命令和行为仍可能随版本变化。

Jeff-Code的数字同样坦白了收益在哪里停住。所有任务的总墙钟时间降幅小于单任务耗时，只到0.86倍，区间0.80到0.93，因为在约5%的任务里，Jeff-Code比单用Qwen多跑了30分钟以上。分项也不均匀：SWE-bench Verified上为0.63倍，Terminal-Bench Pro上为0.64倍，但Terminal-Bench 2.0上没有明显提速，为0.96倍，SkillsBench上为0.91倍。

接下来是任何想照搬这一招的人最该看的部分。每一轮都关掉思考会更快，但要掉7.6分，区间负10.6到负4.5，Terminal-Bench 2.0上掉13.5分。把Jeff的门槛从0.6抬到0.7、让它更不谨慎，会掉4.5分。在实际跑的评测里，Qwen大约四分之三的轮次是关掉思考的。小模型没有增加智能。它决定的是什么时候需要智能。

决策模型从文本走向图像

Liquid AI在10月5日把同一个想法带向另一个方向，发布d1，称它是公司首个决策模型，也是首个同时处理图像和文本的决策模型。一次d1调用用一次前向传播读完输入，按答案返回概率，不生成token；一次文本决策耗时200到300毫秒。公司称d1在六项测试应用中的四项上追平或超过GPT-6.1 Sol，成本比该模型和Claude Opus 5.5都低19倍到200倍，并且在每个任务上都答得更快。

最有意思的一点是，这个模型从来没有为此训练过。凭借出色的泛化能力，它从一段简短描述就能理解任务。

这句话出自Liquid自己的帖子，讲的是一个视觉检测演示，基于公开的VisA数据集，里面有电路板、蜡烛、腰果和口香糖，d1以85%到97%的准确率分出良品和次品。真正有意思的是公司的说法本身：一个小型专用模型，凭一句描述就泛化到它从没见过的任务，而不是靠提示词和上下文窗口。

Liquid的一个演示直接落在编程智能体的问题上。它叫上下文压缩（Context Compaction），让d1读取智能体会话里的每一份工具输出，决定保留、裁剪还是丢弃，去掉52%的token，同时保留任务需要的每一份输出。Liquid称六项文本应用中有四项改编自开源项目。基准表是公司自己的，d1的对手Jev只以名字出现：Liquid说一周前的一次实验性发布让d1成为首个在文本决策上比肩Jev的模型，但没有给出Jev的任何数字。

Sean Goedecke在10月5日的文章里解释了为什么Jev或d1这样的模型一旦跑通就容易被替换。因为你是针对特定任务去提示它，就可以记录它的输入和输出，用它训练自己的分类器。手搓的模型会更便宜也更快，因为它不携带任何无关任务的知识。Goedecke的意思不是说小型决策模型很弱。他的意思是它们是一块垫脚石，而且在招人做机器学习之前验证一个功能的成本很低。

小模型的技术栈在它们周围补齐

同一个24小时里的其他发布，说明围绕本地小模型的工具已经走了多远。10月5日发布在Hugging Face上的Interfaze 1.1 Lite是一个混合架构模型，跑在一块80 GB的GPU上，不依赖外部服务。一个视觉语言核心把工作分派给文档、语音、目标检测和安全检查等专用模块，上下文长度131000个token。它自己的表里，MMMU-Pro为73.2，Interfaze为71.1，GPT-5.4-Mini为40.4；olmOCR-Bench为83.8，Interfaze为85.7。所以这个小模型在一项文档基准上输给了自己的前代大模型，在多模态推理上赢了。

10月5日发在GitHub上的Metagente押的是相反的方向：一个Rust单二进制，加一份简短的声明式智能体文件，而不是Python框架。它原生支持MCP和A2A，卖点在于每个智能体都要声明自己可以用哪些文件夹、环境变量和其他智能体。对在自己机器上跑智能体的人来说，这套权限模型才值得盯，因为那里的故障不是答错，而是文件操作出错。

学术界的结论也没有定下来。加州大学河滨分校9月23日发表的一项研究发现，大语言模型的置信度和正确性来自不同的内部特征。团队用稀疏自编码器研究了Meta的Llama-3.1-8B和谷歌的Gemma-2-9B，发现压制纯粹与不确定相关的特征会大幅降低准确率，而压制大部分与错误答案相关的特征则不会。

论文第一作者、UCR计算机科学博士生Het Patel把这个发现对着领域里的默认假设讲了出来：“这个领域的主要假设是，模型自信的时候多半是对的，模型没把握的时候更可能错。”有用的地方在于，研究者是靠把内部特征调低来改变行为，而不是重新训练，这正是Jeff-Code和d1在追的同一笔账。

这些数字没有解决的问题

小模型上端侧的理由建立在三个说法上，10月5日的几项发布对它们的支持并不均匀。成本方面，Liquid的19倍到200倍差距和Jeff-Code的0.68倍单任务耗时都是自报的，对标的是公司自己挑的基线。能力方面，Reika明说它的框架只是让小模型不那么让人抓狂，而不是更聪明，Jeff-Code的通过率是持平，不是更好。可信度方面，UCR的工作说明模型自己的置信度是个糟糕的向导，而当模型在决定跳过什么时，这比一个人读它的答案时更要紧。

Reflection在10月5日公布的Beam是另一头的重量。它的5010亿参数稀疏模型有230亿激活参数，在Terminal Bench v2.1上拿到80.1，而Kimi K3为88.3，DeepSeek V4.1 Flash为90.6。Reflection称Beam在高级推理上追平GLM-5.2，推理算力只用三分之一到四分之一。权重、技术报告和模型卡本月晚些时候发布，模型仍在红队测试中。

所以前沿并没有停住，小模型的故事也不是一场它正在赢的比赛。它押的是另一件事：智能体的工作大多是路由、阅读和判断，一个8亿参数的模型来做这些步骤、让更大的模型专心思考，比一个大模型包办一切更值。Jeff-Code背后的评测在速度上支持这个押注，在质量上则没有证明。里面没有任何数据表明这种搭配打赢了单用Qwen。它表明的是搭配跟得上，同时花得更少。

没有人公布过买家最想要的那个数字：在普通团队拥有的硬件上跑这一对的成本。Jeff-Code是在同一台Qwen服务器上按配对块跑的。Liquid报的是每次决策的成本，对标两个托管模型。Reika的数字是本地llama.cpp环境下的预填充时间，至少把框架开销摆在了明处。在这些数字可以互相比较之前，10月5日诚实的总结是：小模型已经便宜到可以待在循环里，而它们该不该待在那里的争论才刚刚开始。