跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

小模型走向终端:Reika、Jeff-Code 与 d1 重新定义本地 AI

10 月 5 日,开发者发布 Reika,这是一款针对 80亿 至 350亿 参数本地模型优化的命令行智能体。同期发布的 Jeff-Code 用一个 8亿 参数的模型让 Qwen 3.8-27B 提速 47%,准确率不变。

人工智能与模型解释王雅琴发布: 2026年10月5日7 分钟阅读资料来源 10
小模型走向终端:Reika、Jeff-Code 与 d1 重新定义本地 AI

AI 推理的重心正从数据中心转向个人设备。

推动这一变化的是新一批工具,它们把效率放在参数量之前。过去 72 小时内发布的这几款产品,都在解决同一个问题:让小语言模型能干复杂的实际任务。10 月 5 日发布的编程智能体命令行工具 Reika,架构就是围绕本地小模型设计的。GitHub 仓库写明,它面向 80亿 到 350亿 参数的模型,通常量化到 Q2 或 Q4,运行在 16000 至 32000 的上下文窗口里。开发者说,这套框架对上下文很节省,免得小模型把有限的窗口浪费在反复读取上。它不会让小模型变聪明,但能减少任务悄无声息跑偏的概率,用起来没那么让人抓狂。

Reika 的技术文档给出了内部测试的具体数据。

在一次中等上下文的改写中,框架重新处理了 8453 个 token 的提示词,预填充耗时 7.9 分钟。同一会话里追加内容只花 25 个 token 和 3.5 秒。这个差距说明传统上下文管理对小模型有多不划算。开发者还测了循环检测:正常的推理轮次,跨轮相似度在 0.2 到 0.3 之间,卡死的循环则是 1.00。有一轮连续 38 轮的有效工作从未触发检测器,说明系统能分清有效迭代和失败。

Jeff-Code 走的是另一条路。它把一个 8亿 参数的决策模型和 Qwen 3.8-27B 配在一起。这个 8亿 参数的模型叫 Jeff,负责读文件、列目录这类常规步骤,每个决定大约 0.2 秒。Jeff 有把握时自己走下一步,没把握就交给更大的 Qwen。这样分工让系统快了 47%,也就是每个任务少花 32% 的时间,通过率不变。评估用的是配对任务,Jeff-Code 通过率 62.4%,单用 Qwen 是 62.8%。差距在统计上可以忽略,95% 区间为 -2.6 到 +2.1 个百分点。

Liquid AI 也在 10 月 5 日推出 d1,这是一个同时支持文本和图像的决策模型。传统语言模型逐个生成 token,d1 不一样:它一次前向传播读完非结构化数据,直接给出每个可能答案的概率。一次文本判断耗时 200 到 300 毫秒,足以支撑实时应用。公司在六个真实场景里拿 d1 对比 GPT-6.1 Sol 和 Claude Opus 5.5,包括筛选客服工单和检查电路板。其中四项任务 d1 追平或超过了 GPT-6.1 Sol,成本低 19 倍到 200 倍。每一项任务上它的回答都明显更快。

这些模型用在视觉任务上的效率同样明显。

在 VisA 数据集上,d1 分拣良品和次品的准确率为 85% 至 97%。这个模型从未针对这项工业检测任务训练过。它靠一段简短描述就理解了要求,说明决策模型架构具备泛化能力。在游戏场景里,给 d1 加上视觉后,俄罗斯方块的通关行数从 70 行提高到 81 行。在 Wordle 里,它直接从截图读棋盘,12 局全部解出,平均用 3.8 次猜中。

Interfaze AI 发布了 Interfaze-1-lite,这是一个面向开发者工作负载的混合架构模型。模型跑在一块 80 GB 的显卡上,不依赖任何外部服务。它把混合注意力解码器和几套专用架构结合起来,分别处理文档读取、语音识别和视觉定位。一段 95 分钟的录音大约 90 秒就能转写完成。模型做文档理解时,会为每一行、每个词给出框和置信度。它支持按用户提供的 JSON 模式约束结构化输出。上下文窗口为 131000 个 token,能处理长文档和复杂交互。

这些进展不是孤立事件,而是设备端处理这一更大趋势的一部分。《卫报》10 月 5 日刊出的 iPhone 18 Pro 评测指出,新的 A20 Pro 芯片比 A19 Pro 快约 27%,图形性能快 45%。这款手机搭载 iOS 27,其中的 Siri 经过重做,背后用的是谷歌的 AI 技术。新版 Siri 在理解和回答问题方面比前几代强得多。它话更少,也不奉承人,专注于把事办成。系统能看到屏幕上的内容,用相机时也一样,还能给出建议,比如把事件加进日历。

小模型的转向也在影响开源社区。

Metagente 是一门面向 AI 智能体的微型语言,原生支持 MCP 和 A2A。解释器是用 Rust 写的单个二进制文件,不需要 Python 环境或框架。用户只需说明智能体是干什么的、能用哪些工具、回答什么,剩下的交给解释器。这种做法降低了构建智能体的门槛,非程序员也能上手。这门语言支持按智能体分别设置文件夹、环境变量和链接的权限,安全性更高。

NASA 和 IBM 发布了 Lunar Foundation Model,这是面向月球下游任务的微调与推理版本。项目包含两个 Python 包:模型用的 ni_lfm,以及数据模块和任务用的 terratorch_integration。模型支持陨石坑检测、冰资源勘探和图像分割。发布内容里还有用 PBS 和 Slurm 提交集群任务的示例。这说明小而专用的模型在科研和航天领域也开始站住脚,那里的资源限制往往很紧。

这些模型的底层机制正在学术研究中被拆解。加州大学河滨分校 9 月 23 日发表的一项研究发现,大语言模型的置信度和正确性来自不同的内部特征。研究者分别找出了与置信度和正确性相关的内部特征。他们证明,改动其中一些特征就能改变模型行为,不必重新训练整个模型。这个结果动摇了“模型有把握就等于答得对”的假设。它意味着未来的模型可以调成:答对时更有把握,很可能答错时更谨慎。

小模型融入现有工作流的过程也变得更顺。2026 年 Python 语言峰会讨论了多项改进 Python 生态的动议,包括是否让 CPython 采用 Rust。David Hewitt 指出,被标记为“type-crash”的问题数量一直在稳步上升。他认为 Rust 可能是解决办法之一,并提到它在 Android 和 Linux 内核中的应用。团队提议请 Python 发行版厂商在 Python 3.16 中尝试可选的 Rust 支持,问题上报后留到 Python 3.17 解决。

峰会上的另一场讨论聚焦 CPython 的内存快照。

Hood Chatham 提议在初始化后给 Python 进程内存做一份“快照”,用来加快启动。测试中,从内存快照加载解释器后,运行一个简单的“Hello, world”程序大约快 4 倍。但这条路在安全上有麻烦,具体是哈希算法碰撞导致的拒绝服务攻击。提案建议给 Python 语言模型加一个“初始化阶段”,让运行时能安全地重新引入随机性。

小语言模型的格局变化很快,新工具和新架构不断出现。共同点是看重效率、专用性,以及能在有限硬件上跑起来。随着硬件性能提升、软件优化推进,这类模型很可能成为日常计算的标准部件,从智能手机到科学仪器都用得上。未来几年,它们会进一步进入主流应用,把成本压下来,也让更多人用得上。

评论 0

资料来源

10
  1. 01Reika – A coding agent CLI designed around small local models firstEN
  2. 02Jeff-Code: a 0.8B model makes Qwen 3.8-27B coding 47% faster, same pass rateEN
  3. 03d1: The most capable decision model, now with visionEN
  4. 04Interfaze-1-lite: the first open-weight model for deterministic taskEN
  5. 05Apple iPhone 18 Pro review: big changes for small differencesEN
  6. 06Metagente, a tiny language for AI agents that speaks MCP and A2AEN
  7. 07NASA-IBM Lunar Foundation Model and fine-tuning codeEN
  8. 08Study: Path discovered to make AI models red-flag their doubtful answersEN
  9. 09Rust for CPython (Python Language Summit 2026)EN
  10. 10Memory Snapshots for CPython (Python Language Summit 2026)EN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。