本地AI工具本周集中亮相：Jevstiller、TalkScribe，Anthropic却把用户推回云端

Jevstiller是一个开源代理，挡在TypeSafe的Jev前面。它的GitHub仓库和The Register的报道日期都是9月30日。

两者描述的是同一套机制。每个请求最初都发往Jev，返回的答案用来训练一个小型本地模型。样本攒够之后，熟悉的问题就在用户自己的硬件上回答。Jev便宜，但不是免费。The Register给出的Jev价格是每350亿输入token 42美元，延迟约300毫秒。Jevstiller的README说，在CPU上本地回答约需15毫秒，快了大约20倍。项目文档把它称作缓存：“只有当请求中的每个问题都能在本地回答时，整个请求才在本地处理；否则整条请求带着调用方自己的密钥发往Jev。”

支撑这一说法的数字比标题要窄。Banking77是一组77类客服意图，用录制好的Jev回答回放。在这组数据上，默认设置对留出消息的回答率为61.7%，与Jev的一致率为99.40%，而宣称的目标是98%。README还报告，在数据集标签上本地模型的准确率为78.8%，Jev为78.5%。9月25日的一次实机运行得到70.7%，一致率99.45%，所用设置README称已不再是默认值。

本地模型搬到笔记本上

同一周出现了一批工具，都建立在同一个假设上：推理该放在你面前的这台机器上。9月30日发布的macOS听写应用TalkScribe在Apple的神经引擎上跑语音转文字和一遍改写，不向云端传输。它卖14美元的终身授权，附带一个Qwen3 1.7B模型做润色。它的网站称人们打字大约每分钟40个词，说话则是130到160个。这就是它的一句话卖点。

据其库页面介绍，Ollama在0.35版中加了一个决策模型端点。该端点提供Nimble，这是Bespoke Labs基于Qwen3.5-9B微调的90亿参数模型。页面说Nimble在搭载M5 Max的MacBook Pro上不到100毫秒就能作答，每个请求最多处理64个问题。这个端点沿用TypeSafe的Jev API，所以同样形状的请求既能发给托管的Jev，也能发给本地文件。

“我们开源了AA-AgentPerf-Local，它在笔记本和工作站硬件上回放真实的智能体轨迹，用来测试推理性能，”Artificial Analysis在9月30日写道。

这个基准给本地化浪潮提供了一把尺子。Artificial Analysis说其默认负载是8个录制下来的智能体任务，共168个模型回合，上下文增长到约56000个token。它公布了初步结果，覆盖128 GB的NVIDIA DGX Spark、128 GB的AMD Ryzen AI Halo、64 GB的MacBook Pro M5 Pro和32 GB的NVIDIA GeForce RTX 5090。测试的模型是Qwen3.5-9B、Qwen3.8-27B、Qwen3.6-35B-A3B和4位量化的Ling 3.0 Flash，其中Qwen3.8-27B为270亿参数，Qwen3.6-35B-A3B为350亿参数、激活30亿，Ling 3.0 Flash为17亿参数。

还有两个项目补全了这幅图景。来自alphaXiv的OpenResearch是一个本地优先的研究智能体工作区，把实验保存在本地SQL数据库里。它说自己不收集代码或智能体轨迹，不过其发行版会发送与随机安装ID绑定的可选退出分析。LocalThings是一个Home Assistant集成，通过本地网络用基于DTLS的CoAP和OCF规范与三星家电通信。它的README说设置完成后从不联系三星的服务器。

反例：Anthropic撤掉本地模式

并非所有厂商都朝这个方向走。Anthropic的帮助中心写明，2026年10月6日起，Pro、Max和Ultra套餐上的新Cowork任务开始在云端运行，设置里的“仅在你的电脑上”选项被移除。仍设为本地的用户下次打开桌面应用时会被迁到云端，无法切回。该日期之前启动的任务留在本机。

把两半放在一起看，这一周更像是一次分叉，而不是一个趋势。上面那些工具都小、单一用途，而且大多免费或便宜：一份14美元的授权、一个容器镜像、一个GitHub仓库。Anthropic的改动影响付费套餐，把工作推向相反的方向。哪一边胜出取决于工作负载，也取决于那些一致率数字能否在77类意图数据集之外站得住。