推理成本两条路:开源引擎自我调优,芯片厂商压低硬件价格
一家开源推理引擎9月30日在GitHub上线,声称通过在使用者自己的设备上编译并调优内核,开源模型的运行速度可比llama.cpp快至多2倍;MaxLinear则表示,其新款Puma 9 DOCSIS芯片能把用户端设备成本降低30%到50%。

Y Combinator S25公司Magnitude于9月30日以Apache 2.0许可发布代码库。这款桌面应用会在模型运行前,针对Apple Silicon、NVIDIA、AMD或普通CPU调优内核。MaxLinear在9月29日的说明会上称,Puma 9芯片相较2023年推出的前代Puma 8,可将调制解调器和网关成本降低30%到50%。
Magnitude给出的数字很具体:README称在Metal上解码比llama.cpp快92%,在CUDA上快19%;每个智能体占用的内存少27%,智能体停止后这部分内存会被释放;并发会话之间共享前缀缓存。它可连接Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi和Cline,其他工具通过兼容OpenAI的API接入。公司称提示词、文件和模型都留在本机,模型下载完成后无需联网。这是厂商的说法。在你的硬件上是否成立是另一回事:基准测试由厂商自己做,代码库没有公布第三方复现结果。
MaxLinear的说法靠的是另一种调优。Puma 9支持DOCSIS 4.0、DOCSIS 3.1+和DOCSIS 3.1,增加Wi-Fi 8支持,并在Puma系列中首次转向ARM架构。MaxLinear是在2020年收购英特尔家庭网关平台部门后接手这一产品线的。
一位熟悉该芯片的业内消息人士对Light Reading说,改用ARM有助于降低功耗和部分授权成本。MaxLinear表示会继续支持x86产品,并称RDK软件平台让底层CPU架构对客户基本透明。面对DDR4短缺,Puma 9还支持DDR5。MaxLinear网络基础设施与运营商业务部门高级副总裁兼总经理Puneet Sethi说,公司认为DDR5的生态、价格和供应会比DDR4经历的紧张局面更为宽松。Dell'Oro Group的Jeff Heynen对Light Reading说,多数厂商会在更高阶的Wi-Fi 8设备上转向DDR5,因为应用和诊断功能可能需要更多板载内存。
MaxLinear称Puma 9已获得多家客户承诺,并点名Askey、Fritz! GmbH和Gemtek为CPE合作伙伴,还得到澳大利亚运营商NBN Co的支持。基于该芯片的调制解调器和网关预计2027年上市。
成本压力不只在调制解调器上。医疗领域,Endpoints News在10月1日发问:AI是在抬高成本而不是降低成本吗?文章把这个问题放在一轮融资潮的背景下:Parakeet Health融资1000万美元用于自动化患者触达,Devoted Health融资12亿美元,两条消息均在10月1日报道。CleanTechnica在9月29日报道,Transport & Environment的分析认为电动车每公里运行成本不到柴油车的一半,柴油车司机每箱油比年初多付32欧元,其中约16欧元是炼油利润率的增加。同一媒体在9月28日报道了数据中心运营商转向以甲烷为燃料的便携式发电机,以及世界卫生组织2012年将柴油尾气列为致癌物后围绕柴油尾气的长期争论。
硬件厂商也在设法从电池里挤出成本。Electrek在9月29日报道,GM与LG Energy Solution的合资公司Ultium Cells将在田纳西州Spring Hill量产棱柱形LMR电芯,声称在成本相当的情况下能量密度比LFP高33%。GM副总裁Kurt Kelty说,加入LMR让公司有机会超越当前更便宜的化学体系。升级今年晚些时候开始,计划2028年完成,新增500个岗位,员工总数达到1700人;首款搭载LMR电池的车型预计2028年推出。
用起来更便宜,建起来更贵
这批材料里的共同点是:推理和运营越来越便宜,底下的资产依然昂贵。36Kr周一经CnEVPost报道,小鹏把四条产品线合并为两条,以集中研发并削减成本。这一决定背后的数字是:2026年前八个月交付量下降10.49%至243111辆,第二季度研发费用同比增长32.1%至29.1亿元,季度净亏损从去年同期的4.8亿元扩大到13.4亿元。电信运营商也在走同一条路。Light Reading在9月30日报道,StarHub与M1在新加坡进行合并谈判,据称Singtel在6月占有43%的移动市场份额,M1为22%,StarHub为21%,Simba为14%。在新西兰,2degrees与OneNZ提议把各自的无线接入网合并为一家共同持股的实体,商业委员会预计明年作出决定。中国电信与中国联通的5G共建共享是这类合作中规模最大的,覆盖150万个基站,据称节省了560亿美元资本开支。
研究也在啃软件这一侧。9月29日提交到arXiv的论文Demographic Pluralism报告称,在GlobalOpinionQA和VITAL上、跨越四个骨干模型,相较Modular Pluralism把Jensen-Shannon距离降低了8.4%到26.4%,且不需要观点分布训练数据或针对任务的微调。另一篇被NeurIPS 2026接收的论文FluxLite报告称,在有限状态CTMC基准上,终端KL相较标准Feynman-Kac序贯蒙特卡洛基线最多改善两个数量级;在二维Ising采样上,行相关MSE的几何平均降低5到7倍,峰值最多降低55倍。
微软研究院在9月23日提出,只在板载GPU上运行物理AI推理会限制机器人性能、续航和规模化,把负载转移到边缘或云端GPU后,移动操作类任务的成功率和运行时间都有改善。该团队还推出了基于Kubernetes的工具,用于在机器人、边缘和云端之间容器化并编排机器人负载。
有一点贯穿全部材料。Magnitude、Ultium Cells和MaxLinear的性能数字都是厂商自己给出的,两篇arXiv论文的效率提升也是在学术基准而非生产流量上测得的。
资料来源
11- 01Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
- 02MaxLinear claims new 'Puma 9' DOCSIS chip is a big cost-cutterEN
- 03Is AI jacking up healthcare costs?EN
- 04Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
- 05The Human Cost Of Data Center PollutionEN
- 06GM's new EV battery tech will cut costs without sacrificing rangeEN
- 07Xpeng reportedly consolidates product lines to cut R&D costsEN
- 08Singapore, New Zealand operators seek partnerships to cut costsEN
- 09Demographic Pluralism: Inference-Time Modeling of Pluralistic Human Preference DistributionsEN
- 10FluxLite: Inference-Time Proposal Control for Discrete Diffusion ModelsEN
- 11Offloaded inference for real-world physical AI roboticsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。