跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

推理成本正走向AI技术栈中心,新推理引擎同期发布

Y Combinator S25孵化公司Magnitude于9月30日在GitHub发布其开源推理引擎,声称在相同硬件上运行开放模型比llama.cpp快最多2倍。

人工智能与模型分析王雅琴发布: 2026年9月30日7 分钟阅读资料来源 9
推理成本正走向AI技术栈中心,新推理引擎同期发布

GitHub页面显示,Magnitude于9月30日17:37 UTC发布代码仓库。它的定位很窄也很具体:面向智能体的推理引擎,在运行设备上即时编译并调优内核。公司称这能带来比llama.cpp最高2倍的性能提升,其中Apple Metal后端解码快92%,CUDA后端快19%。

这是厂商自测数据。目前还没有Magnitude以外的人复现过。仓库没有说明这些数字背后的模型、提示长度或批大小。在独立验证出现之前,2倍应当只当作宣传数字看待。

更值得看的是这家公司瞄准的位置。Magnitude称其桌面应用可以接入用户已在使用的智能体,列出的有Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi和Cline。其他工具通过OpenAI兼容API接入。根据仓库说明,引擎可运行在Apple Silicon、NVIDIA或AMD GPU上,也可以只用CPU。Magnitude还声称每个智能体内存占用减少27%,智能体停止后内存即释放,并称多个会话共享前缀缓存,以免并发时变慢。

同一周,技术栈的另一层

9月30日两小时后,第二个发布落地。Full Stack Data Lab发布了一篇关于Quail的博客文章,Quail是借助Modal构建的查询感知推理层,Modal同一天17:38 UTC也发布了自己的说明。Quail针对的是AI-SQL,即在SQL查询内部逐行调用语言模型的做法。

数字很大,措辞也很直接。Full Stack Data Lab称单个查询可能产生几十万甚至数百万次模型调用,因为AI函数每行评估一个提示,而朴素连接每两行组合评估一个提示。在一个名为BIO-4的基准查询中,该查询将5000份医疗报告与4144个反应术语连接,实验室推演了把这些调用作为独立请求发送给vLLM这类通用引擎的成本。

Modal的文章给出了结果:在单个多连接查询上,Quail在单块H100 GPU上每分钟处理超过十亿token,在相同硬件上比其vLLM基线快10倍以上,在Modal上每十亿token成本低于6美分。在一个新发布的基准上,Modal称Quail按任务几何平均比vLLM快1.84倍。它同时说明,这组基准中有两个查询是专门用来暴露AI-SQL推理仍需改进之处。

I see it as a point on the LLM pareto optimal curve in a regime that had a large revealed latent demand (no thinking, single token, low latency acceptable intelligence) that was under-invested into because of a race to higher intelligence. Karpathy-san, on Jev

这段话出现在Modal的文章里,并在文中归于Karpathy,评论的是TypeSafe AI的Jev模型。它值得仔细读。其论点是,大量推理需求处在便宜、低延迟的一端,而实验室追逐前沿能力,导致这部分需求长期供给不足。Magnitude和Quail押注的都是这个缺口。

两份说明都没有经过同行评审。它们都是伴随代码发布的企业博客,比较基线一个对llama.cpp,一个对vLLM,也都由作者自己选定。方向是一致的,但具体幅度还不能当作定论。

电力与价目表说明了什么

本周发表的一项学术工作指向一个更快的token本身解决不了的问题。一篇在SOSP '26上展示、日期为9月28日并收录于ACM会议论文集的论文认为,单纯为利用率优化GPU集群反而可能推高能耗。作者Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma和Neeraja J. Yadwadkar描述了一个名为EnerTune的系统,它用解析方式建模每个模型的性能和功耗,而不必逐一配置做性能剖析,并据此把模型打包到共享GPU上。他们报告称,在仍满足性能目标的前提下,能耗比最先进基线降低1.4到2.3倍,功率降低1.3到2.6倍。

还有价目表这一侧。AICostBudget于9月30日发布其9月定价指数,这是一份以2026-09-30 UTC为截点的冻结快照,覆盖11家供应商的81条公开定价记录。69条记录的中位输入价格为每百万token 1.32美元,中位输出价格为每百万6美元,比值5.0倍。通常占大头的是输出定价,而不是提示输入。

这份指数也戳破成本讨论里一个常见的简化。在58条可比的缓存输入记录中,中位折扣为90%。在44条批量定价记录中,中位折扣为50%。任何忽略缓存与批量定价的工作负载对比,描述的都是多数客户永远不会看到的账单,指数本身也直接这么写。在供应商一侧,其各家中位数从Mistral AI的每百万token输入0.20美元、输出0.60美元(7条记录),到DeepSeek的0.30美元和1.20美元(3条),一直到Anthropic的5美元和25美元(13条记录)以及OpenAI的2美元和11美元(18条)。这些是公开标价的中位数,不是折扣后的实际价格,且样本量各不相同,因此不构成同口径的模型排名。

速度只是成本之一

在数据中心之外,延迟有可测量的物理成本。MindOn于9月30日推出其物理AI模型Mind-1,称将机器人推理延迟从82ms降到32ms,并把操作任务推到人类水平的循环时间。公司自己解释为何这件事重要,这部分才是有用的:在末端执行器速度3米每秒时,10ms延迟对应约3cm的位移,足以影响精确抓取或插入。MindOn还指出一个数据问题,称大量机器人操作数据来自比自然人动动作更慢的遥操作,于是模型在学习任务的同时也学到了更慢的节奏。

同一时间窗口里还有一个面向消费者的成本故事。CleanTechnica于9月29日报道,Transport & Environment的分析认为在欧洲电动车每公里运行成本不到柴油的一半,依据是柴油平均百公里油耗6.9升、纯电百公里电耗20.2 kWh,电价每kWh 0.343欧元。T&E的Antony Froggatt在文章中说,柴油车主每箱油比年初多付32欧元,并警告若美国阻断柴油出口将带来供应风险。T&E注明其充电成本估算很可能是上限。

定价页面本身也可能是一项成本。Gokhan Kogan于9月30日发表的一篇第一人称自述,讲述他在Pinecone的经历,称定价页上的用量计算器因为一个被误读的输入,给出的估算最高虚高1000倍。他写道,在一次A/B测试中,没看到计算器的访客注册概率高16%,联系公司的概率高90%,而定价相关的支持工单并未增加。他还提到,内部调查的10名员工中有7人预期带计算器的版本表现更好。这是一家公司的经历,不是普遍规律,但它提醒人们,感知成本与实际成本很容易分岔。

网络层的容量经济学也在变化。Light Reading于9月30日报道,StarHub与M1在新加坡进行合并谈判,两家已通过共同持股的Antina公司共享5G频谱和无线接入网。报道称,6月Singtel占据移动市场43%,M1为22%,StarHub为21%,Simba为14%。在新西兰,2degrees与OneNZ已提议合并各自的无线网络,商业委员会的裁决预计明年出炉。

贯穿全文的线索不是推理即将免费。而是本周到来的优化都针对具体瓶颈:消费级硬件上的智能体解码速度、逐行SQL调用、空闲GPU功耗,每一项都有自己的基准和自己的厂商。定价指数显示标价本身没怎么动。节省是在引擎层被卖出去的,买家得拿自己的工作负载去测。

评论 0

资料来源

9
  1. 01Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
  2. 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  3. 03Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  4. 04AI API pricing index - September 2026EN
  5. 05Mind-1: Cutting robot inference latency from 82ms to 32msEN
  6. 06The pricing calculator made people more confused about pricingEN
  7. 07Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
  8. 08Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  9. 09Singapore, New Zealand operators seek partnerships to cut costsEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。