跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

推理定价出现分化:开源引擎压低token成本,硬件账单继续上涨

Y Combinator S25公司Magnitude于9月30日发布了一款开源推理引擎,能在用户自己的硬件上编译并调优内核,声称在Metal上解码速度比llama.cpp快92%。与此同时,新的研究和定价数据表明,运行AI的成本正在明显分化。

人工智能与模型解释林晓雯发布: 2026年9月30日6 分钟阅读资料来源 9
推理定价出现分化:开源引擎压低token成本,硬件账单继续上涨

9月30日,Y Combinator S25公司Magnitude发布了一款面向智能体的开源推理引擎。它会在用户自己的硬件上编译并调优内核。项目仓库称,开源模型的运行速度“最高可达llama.cpp的2倍”,其中Metal上解码快92%,CUDA上快19%,每个智能体占用的内存少27%。据该项目的GitHub页面,它可在Apple Silicon、NVIDIA、AMD或CPU上运行,并可连接Pi、OpenCode、Hermes、Codex、Claude Code和Cline。

这是这一周里关于推理该花多少钱的众多互相竞争的说法中最新的一个。同一天,查询感知推理层Quail的研究人员报告称,他们在单块H100 GPU上以每分钟超过十亿token的速度运行了一条多表连接AI-SQL查询。他们表示,这比同一硬件上的vLLM基线快10倍以上。

token这一侧:规划胜过蛮力

Quail的工作发表在Full Stack Data Lab博客上,Modal的博客随后给出了更详细的说明。它针对的是一类特定负载:AI-SQL,即SQL查询逐行调用语言模型。一个过滤条件需要每行调用一次,而朴素连接需要为每一对行调用一次。在研究人员称为BIO-4的基准查询中,输入包含5000份长篇医疗报告和4144个反应术语,这些内容在两个连接中被使用了两次。他们的论点是,把数百万条相互关联的调用当作独立请求发给通用引擎,会浪费共享的前缀状态。通过联合优化查询计划和推理引擎,他们削减了这部分开销。Modal的文章称,在其平台上成本低于每十亿token 6美分,并报告Quail在一个新的AI-SQL基准上几何平均比vLLM快1.84倍。该基准还包括团队特意设计用来暴露剩余弱点的两条查询。

“不同的推理应用产生不同的推理负载,AI-SQL也不例外,”Modal的文章写道,并指出单条查询就可能产生数百万条、每条数千token的序列。

这两个数字都来自构建系统的团队本身,也都还没有人依据公开材料独立复现。这一点很重要,因为整体的定价图景比任何单一的速度提升都要杂乱。

AICostBudget的9月定价指数以2026-09-30 UTC为截止时点冻结,追踪11家供应商的81条公开记录。它给出的输入价格中位数为每百万token 1.32美元,输出价格中位数为6美元。在69条同时包含这两个数值的记录中,两者之比为5.0倍。观测到的区间为输入0.10至30美元,输出0.10至180美元。同一数据集报告,在58条可比记录中,缓存输入折扣的中位数为90%;在44条支持批处理的记录中,批量折扣的中位数为50%。换句话说,标价很难说明一项负载实际要付多少钱。指数中各供应商的中位数从Mistral AI的输入0.20美元、输出0.60美元(3条记录),到Anthropic的5美元和25美元(13条记录)。OpenAI的18条记录为2美元和11美元;Google Gemini的14条记录为0.75美元和4.125美元。

硬件这一侧:不只是利用率,还有能耗

如果说token的经济性在改善,GPU的经济性并没有明显跟上。9月28日在SOSP '26上发表的一篇论文认为,单纯为提高利用率而优化GPU集群,反而可能推高能耗。作者Prasoon Sinha、Dimitrios Liakopoulos、Nathan Lemma和Neeraja J. Yadwadkar描述了一个名为EnerTune的服务系统。它对每个模型的性能和功耗建模,包括共享GPU上并置的模型,并用能耗感知的装箱算法来放置和配置模型。论文声称,在满足性能SLO的前提下,相比最先进的基线,能耗降低1.4至2.3倍,功耗降低1.3至2.6倍。论文还指出一个实际问题:在数百种配置下对每个模型做性能剖析,成本高得无法承受,而且剖析本身就在耗电。

这是学术结果,不是厂商基准。它出现的时候,亚太地区的运营商正走另一条降本路线。Light Reading 9月30日报道,StarHub和M1正在新加坡进行合并谈判。两家公司已经通过一家共同持股的公司Antina共享5G频谱和无线接入网。据报道,Singtel在6月占据移动市场43%的份额,M1为22%,StarHub为21%,Simba为14%。

在新西兰,2degrees和OneNZ提议把各自的无线网络合并成一家共同持股的实体。这笔交易预计明年提交给商业委员会。Light Reading指出了先例:中国电信和中国联通的共享5G基础设施如今达到150万个基站,并声称节省了560亿美元资本开支。这些是连接领域的交易,不是AI算力交易,但反映出同样的直觉:共享昂贵的固定资产胜过重复建设。

买家看到的是什么

对真正在为推理付费的人来说,这一周最有用的数据点可能是一个警示。Gaurav Kogan在9月30日写道,Pinecone在一次A/B测试后撤掉了基于用量的定价计算器。他写道,没有看到计算器的访客注册的可能性高16%,联系公司的可能性高90%,而定价相关的客服工单并没有增加。他解释撤掉计算器的原因很具体:一点轻微的误读就可能让估算值高估达1000倍,而计算器给了用户虚假的信心。一次内部投票发现,每10名员工中有7人预计带计算器的版本表现更好。这个教训同样适用于推理定价:缓存价和批量价能让一张账单差出一个数量级,而头条数字很少反映真实负载。

另外两条9月30日的消息处在这个故事的边缘。MindOn推出了Mind-1,称这是一款物理AI模型,能把机器人推理延迟从82毫秒降到32毫秒。它指出,在末端执行器速度3米/秒时,10毫秒的延迟大约等于3厘米的位移。Transport & Environment发布的分析由CleanTechnica在9月29日报道,称电动车司机每公里支付的费用不到柴油车司机的一半,柴油车司机每箱油比年初多付32欧元。

这两条都不是数据中心的故事。它们提醒人们,推理成本如今是一项以毫秒、焦耳和欧元衡量的物理约束,而不只是每百万token多少美元。

这一周的主线是,没有任何一个数字能给出定论。Magnitude的92%解码提升只针对Metal,且是自报的。Quail的每分钟十亿token来自单块H100上的一条多表连接查询,团队自己也把两条基准查询标为有待改进之处。EnerTune的节省是在论文中相对基线建模得出的。定价指数则是一份冻结的标价快照,而大多数买家并不按标价付费。

一致的是工程方向:把内核调优到确切的芯片,围绕模型来规划查询,把功耗当作一等指标。这些能否体现为更便宜的推理,与其说取决于任何单一基准,不如说取决于其中有多少真正进入生产。

评论 0

资料来源

9
  1. 01Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  2. 02Jointly optimizing SQL queries and LLM inference for up to 14x speedupsEN
  3. 03Hitting 1B tokens/minute on 1 GPU combining a query planner and inference engineEN
  4. 04AI API pricing index - September 2026EN
  5. 05Beyond Utilization: Energy-Conscious GPU Sharing for Inference ServingEN
  6. 06Singapore, New Zealand operators seek partnerships to cut costsEN
  7. 07The pricing calculator made people more confused about pricingEN
  8. 08Mind-1: Cutting robot inference latency from 82ms to 32msEN
  9. 09Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。