推理成本正走向AI技术栈中心,新推理引擎同期发布
Y Combinator S25孵化公司Magnitude于9月30日在GitHub发布其开源推理引擎,声称在相同硬件上运行开放模型比llama.cpp快最多2倍。

GitHub页面显示,Magnitude于9月30日17:37 UTC发布代码仓库。它的定位很窄也很具体:面向智能体的推理引擎,在运行设备上即时编译并调优内核。公司称这能带来比llama.cpp最高2倍的性能提升,其中Apple Metal后端解码快92%,CUDA后端快19%。
这是厂商自测数据。目前还没有Magnitude以外的人复现过。仓库没有说明这些数字背后的模型、提示长度或批大小。在独立验证出现之前,2倍应当只当作宣传数字看待。
更值得看的是这家公司瞄准的位置。Magnitude称其桌面应用可以接入用户已在使用的智能体,列出的有Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi和Cline。其他工具通过OpenAI兼容API接入。根据仓库说明,引擎可运行在Apple Silicon、NVIDIA或AMD GPU上,也可以只用CPU。Magnitude还声称每个智能体内存占用减少27%,智能体停止后内存即释放,并称多个会话共享前缀缓存,以免并发时变慢。
同一周,技术栈的另一层
9月30日两小时后,第二个发布落地。Full Stack Data Lab发布了一篇关于Quail的博客文章,Quail是借助Modal构建的查询感知推理层,Modal同一天17:38 UTC也发布了自己的说明。Quail针对的是AI-SQL,即在SQL查询内部逐行调用语言模型的做法。
数字很大,措辞也很直接。Full Stack Data Lab称单个查询可能产生几十万甚至数百万次模型调用,因为AI函数每行评估一个提示,而朴素连接每两行组合评估一个提示。在一个名为BIO-4的基准查询中,该查询将5000份医疗报告与4144个反应术语连接,实验室推演了把这些调用作为独立请求发送给vLLM这类通用引擎的成本。
Modal的文章给出了结果:在单个多连接查询上,Quail在单块H100 GPU上每分钟处理超过十亿token,在相同硬件上比其vLLM基线快10倍以上,在Modal上每十亿token成本低于6美分。在一个新发布的基准上,Modal称Quail按任务几何平均比vLLM快1.84倍。它同时说明,这组基准中有两个查询是专门用来暴露AI-SQL推理仍需改进之处。
I see it as a point on the LLM pareto optimal curve in a regime that had a large revealed latent demand (no thinking, single token, low latency acceptable intelligence) that was under-invested into because of a race to higher intelligence. Karpathy-san, on Jev
这段话出现在Modal的文章里,并在文中归于Karpathy,评论的是TypeSafe AI的Jev模型。它值得仔细读。其论点是,大量推理需求处在便宜、低延迟的一端,而实验室追逐前沿能力,导致这部分需求长期供给不足。Magnitude和Quail押注的都是这个缺口。
两份说明都没有经过同行评审。它们都是伴随代码发布的企业博客,比较基线一个对llama.cpp,一个对vLLM,也都由作者自己选定。方向是一致的,但具体幅度还不能当作定论。
电力与价目表说明了什么
本周发表的一项学术工作指向一个更快的token本身解决不了的问题。一篇在SOSP '26上展示、日期为9月28日并收录于ACM会议论文集的论文认为,单纯为利用率优化GPU集群反而可能推高能耗。作者Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma和Neeraja J. Yadwadkar描述了一个名为EnerTune的系统,它用解析方式建模每个模型的性能和功耗,而不必逐一配置做性能剖析,并据此把模型打包到共享GPU上。他们报告称,在仍满足性能目标的前提下,能耗比最先进基线降低1.4到2.3倍,功率降低1.3到2.6倍。
还有价目表这一侧。AICostBudget于9月30日发布其9月定价指数,这是一份以2026-09-30 UTC为截点的冻结快照,覆盖11家供应商的81条公开定价记录。69条记录的中位输入价格为每百万token 1.32美元,中位输出价格为每百万6美元,比值5.0倍。通常占大头的是输出定价,而不是提示输入。
这份指数也戳破成本讨论里一个常见的简化。在58条可比的缓存输入记录中,中位折扣为90%。在44条批量定价记录中,中位折扣为50%。任何忽略缓存与批量定价的工作负载对比,描述的都是多数客户永远不会看到的账单,指数本身也直接这么写。在供应商一侧,其各家中位数从Mistral AI的每百万token输入0.20美元、输出0.60美元(7条记录),到DeepSeek的0.30美元和1.20美元(3条),一直到Anthropic的5美元和25美元(13条记录)以及OpenAI的2美元和11美元(18条)。这些是公开标价的中位数,不是折扣后的实际价格,且样本量各不相同,因此不构成同口径的模型排名。
速度只是成本之一
在数据中心之外,延迟有可测量的物理成本。MindOn于9月30日推出其物理AI模型Mind-1,称将机器人推理延迟从82ms降到32ms,并把操作任务推到人类水平的循环时间。公司自己解释为何这件事重要,这部分才是有用的:在末端执行器速度3米每秒时,10ms延迟对应约3cm的位移,足以影响精确抓取或插入。MindOn还指出一个数据问题,称大量机器人操作数据来自比自然人动动作更慢的遥操作,于是模型在学习任务的同时也学到了更慢的节奏。
同一时间窗口里还有一个面向消费者的成本故事。CleanTechnica于9月29日报道,Transport & Environment的分析认为在欧洲电动车每公里运行成本不到柴油的一半,依据是柴油平均百公里油耗6.9升、纯电百公里电耗20.2 kWh,电价每kWh 0.343欧元。T&E的Antony Froggatt在文章中说,柴油车主每箱油比年初多付32欧元,并警告若美国阻断柴油出口将带来供应风险。T&E注明其充电成本估算很可能是上限。
定价页面本身也可能是一项成本。Gokhan Kogan于9月30日发表的一篇第一人称自述,讲述他在Pinecone的经历,称定价页上的用量计算器因为一个被误读的输入,给出的估算最高虚高1000倍。他写道,在一次A/B测试中,没看到计算器的访客注册概率高16%,联系公司的概率高90%,而定价相关的支持工单并未增加。他还提到,内部调查的10名员工中有7人预期带计算器的版本表现更好。这是一家公司的经历,不是普遍规律,但它提醒人们,感知成本与实际成本很容易分岔。
网络层的容量经济学也在变化。Light Reading于9月30日报道,StarHub与M1在新加坡进行合并谈判,两家已通过共同持股的Antina公司共享5G频谱和无线接入网。报道称,6月Singtel占据移动市场43%,M1为22%,StarHub为21%,Simba为14%。在新西兰,2degrees与OneNZ已提议合并各自的无线网络,商业委员会的裁决预计明年出炉。
贯穿全文的线索不是推理即将免费。而是本周到来的优化都针对具体瓶颈:消费级硬件上的智能体解码速度、逐行SQL调用、空闲GPU功耗,每一项都有自己的基准和自己的厂商。定价指数显示标价本身没怎么动。节省是在引擎层被卖出去的,买家得拿自己的工作负载去测。
资料来源
9- 01Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
- 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
- 03Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
- 04AI API pricing index - September 2026EN
- 05Mind-1: Cutting robot inference latency from 82ms to 32msEN
- 06The pricing calculator made people more confused about pricingEN
- 07Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
- 08Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
- 09Singapore, New Zealand operators seek partnerships to cut costsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。