跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

推理成本两条路:开源引擎自我调优,芯片厂商压低硬件价格

一家开源推理引擎9月30日在GitHub上线,声称通过在使用者自己的设备上编译并调优内核,开源模型的运行速度可比llama.cpp快至多2倍;MaxLinear则表示,其新款Puma 9 DOCSIS芯片能把用户端设备成本降低30%到50%。

人工智能与模型分析林晓雯发布: 2026年10月1日5 分钟阅读资料来源 11
推理成本两条路:开源引擎自我调优,芯片厂商压低硬件价格

Y Combinator S25公司Magnitude于9月30日以Apache 2.0许可发布代码库。这款桌面应用会在模型运行前,针对Apple Silicon、NVIDIA、AMD或普通CPU调优内核。MaxLinear在9月29日的说明会上称,Puma 9芯片相较2023年推出的前代Puma 8,可将调制解调器和网关成本降低30%到50%。

Magnitude给出的数字很具体:README称在Metal上解码比llama.cpp快92%,在CUDA上快19%;每个智能体占用的内存少27%,智能体停止后这部分内存会被释放;并发会话之间共享前缀缓存。它可连接Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi和Cline,其他工具通过兼容OpenAI的API接入。公司称提示词、文件和模型都留在本机,模型下载完成后无需联网。这是厂商的说法。在你的硬件上是否成立是另一回事:基准测试由厂商自己做,代码库没有公布第三方复现结果。

MaxLinear的说法靠的是另一种调优。Puma 9支持DOCSIS 4.0、DOCSIS 3.1+和DOCSIS 3.1,增加Wi-Fi 8支持,并在Puma系列中首次转向ARM架构。MaxLinear是在2020年收购英特尔家庭网关平台部门后接手这一产品线的。

一位熟悉该芯片的业内消息人士对Light Reading说,改用ARM有助于降低功耗和部分授权成本。MaxLinear表示会继续支持x86产品,并称RDK软件平台让底层CPU架构对客户基本透明。面对DDR4短缺,Puma 9还支持DDR5。MaxLinear网络基础设施与运营商业务部门高级副总裁兼总经理Puneet Sethi说,公司认为DDR5的生态、价格和供应会比DDR4经历的紧张局面更为宽松。Dell'Oro Group的Jeff Heynen对Light Reading说,多数厂商会在更高阶的Wi-Fi 8设备上转向DDR5,因为应用和诊断功能可能需要更多板载内存。

MaxLinear称Puma 9已获得多家客户承诺,并点名Askey、Fritz! GmbH和Gemtek为CPE合作伙伴,还得到澳大利亚运营商NBN Co的支持。基于该芯片的调制解调器和网关预计2027年上市。

成本压力不只在调制解调器上。医疗领域,Endpoints News在10月1日发问:AI是在抬高成本而不是降低成本吗?文章把这个问题放在一轮融资潮的背景下:Parakeet Health融资1000万美元用于自动化患者触达,Devoted Health融资12亿美元,两条消息均在10月1日报道。CleanTechnica在9月29日报道,Transport & Environment的分析认为电动车每公里运行成本不到柴油车的一半,柴油车司机每箱油比年初多付32欧元,其中约16欧元是炼油利润率的增加。同一媒体在9月28日报道了数据中心运营商转向以甲烷为燃料的便携式发电机,以及世界卫生组织2012年将柴油尾气列为致癌物后围绕柴油尾气的长期争论。

硬件厂商也在设法从电池里挤出成本。Electrek在9月29日报道,GM与LG Energy Solution的合资公司Ultium Cells将在田纳西州Spring Hill量产棱柱形LMR电芯,声称在成本相当的情况下能量密度比LFP高33%。GM副总裁Kurt Kelty说,加入LMR让公司有机会超越当前更便宜的化学体系。升级今年晚些时候开始,计划2028年完成,新增500个岗位,员工总数达到1700人;首款搭载LMR电池的车型预计2028年推出。

用起来更便宜,建起来更贵

这批材料里的共同点是:推理和运营越来越便宜,底下的资产依然昂贵。36Kr周一经CnEVPost报道,小鹏把四条产品线合并为两条,以集中研发并削减成本。这一决定背后的数字是:2026年前八个月交付量下降10.49%至243111辆,第二季度研发费用同比增长32.1%至29.1亿元,季度净亏损从去年同期的4.8亿元扩大到13.4亿元。电信运营商也在走同一条路。Light Reading在9月30日报道,StarHub与M1在新加坡进行合并谈判,据称Singtel在6月占有43%的移动市场份额,M1为22%,StarHub为21%,Simba为14%。在新西兰,2degrees与OneNZ提议把各自的无线接入网合并为一家共同持股的实体,商业委员会预计明年作出决定。中国电信与中国联通的5G共建共享是这类合作中规模最大的,覆盖150万个基站,据称节省了560亿美元资本开支。

研究也在啃软件这一侧。9月29日提交到arXiv的论文Demographic Pluralism报告称,在GlobalOpinionQA和VITAL上、跨越四个骨干模型,相较Modular Pluralism把Jensen-Shannon距离降低了8.4%到26.4%,且不需要观点分布训练数据或针对任务的微调。另一篇被NeurIPS 2026接收的论文FluxLite报告称,在有限状态CTMC基准上,终端KL相较标准Feynman-Kac序贯蒙特卡洛基线最多改善两个数量级;在二维Ising采样上,行相关MSE的几何平均降低5到7倍,峰值最多降低55倍。

微软研究院在9月23日提出,只在板载GPU上运行物理AI推理会限制机器人性能、续航和规模化,把负载转移到边缘或云端GPU后,移动操作类任务的成功率和运行时间都有改善。该团队还推出了基于Kubernetes的工具,用于在机器人、边缘和云端之间容器化并编排机器人负载。

有一点贯穿全部材料。Magnitude、Ultium Cells和MaxLinear的性能数字都是厂商自己给出的,两篇arXiv论文的效率提升也是在学术基准而非生产流量上测得的。

评论 0

资料来源

11
  1. 01Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  2. 02MaxLinear claims new 'Puma 9' DOCSIS chip is a big cost-cutterEN
  3. 03Is AI jacking up healthcare costs?EN
  4. 04Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
  5. 05The Human Cost Of Data Center PollutionEN
  6. 06GM's new EV battery tech will cut costs without sacrificing rangeEN
  7. 07Xpeng reportedly consolidates product lines to cut R&D costsEN
  8. 08Singapore, New Zealand operators seek partnerships to cut costsEN
  9. 09Demographic Pluralism: Inference-Time Modeling of Pluralistic Human Preference DistributionsEN
  10. 10FluxLite: Inference-Time Proposal Control for Discrete Diffusion ModelsEN
  11. 11Offloaded inference for real-world physical AI roboticsEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。