Magnitude 推出自调优推理引擎,称比 llama.cpp 快最多 2 倍
YC S25 创业公司 Magnitude 于 9 月 30 日发布一款开源推理引擎。公司称,该引擎在用户自己的硬件上编译并调优内核,运行开放模型的速度比 llama.cpp 快最多 2 倍。

这款产品 9 月 30 日登上 Hacker News,到第二天早上已获得 169 分和 85 条评论。Magnitude 的说法很窄,也很具体:它不为各类硬件预先编译内核,而是在模型运行前,在设备上编译并调优内核。根据其 GitHub 仓库,公司称在 Apple Silicon 的 Metal API 上解码速度提升 92%,在 CUDA 上提升 19%。
对任何要付推理账单的人来说,这种表述关乎成本,因为速度提升就是成本下降。在自己的硬件上每个 token 少花几秒,就是少付给托管 API 的钱。
仓库里到底写了什么
Magnitude 称自己采用 Apache 2.0 许可,提示词、文件和模型都留在本机,模型下载完成后无需联网。它以桌面应用形式发布,内置 magnitude CLI,因此不需要单独安装。支持的硬件范围刻意放宽:任何 Apple Silicon、NVIDIA 或 AMD GPU,或者只用 CPU。仓库称没有固定的最低配置,配置较低的机器可以运行较小的模型。
项目列出了针对常见开放权重模型系列手工优化的内核,并称每个 agent 的内存占用减少 27%,agent 停止时这部分内存会被释放。它还称并发会话共享前缀缓存,以避免速度下降。一键可连接 Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi 和 Cline,其他工具可通过兼容 OpenAI 的 API 接入。
内存这项说法不那么显眼。Agent 框架很吃内存,因为每个会话都持有自己的上下文。如果 Magnitude 真的能在会话结束时释放这部分内存,那么一台机器上能跑多少 agent 就会改变。
它没有解决的计费问题
本地运行省掉了 token 费用,但机器、电费和调优工程师的成本还在。开发者 Flavio Copes 于 9 月 23 日发布的独立成本工具试图把这项比较做实。他的推理成本计算器比较了 OpenAI、Anthropic、Google、xAI、Mistral、OpenRouter 和 Workers AI 上的 27 个模型,把日活跃用户数、每用户调用次数和 token 数换算成月度账单。
Copes 明确说这些数字只是估算。他写道,计算器忽略批量定价、企业折扣、图像或工具附加费,以及你自己搭建的任何缓存层。它还指出,有一家服务商不公布缓存输入折扣,因此对该服务商忽略缓存费率。所有计算都在浏览器里完成。
AI 应用的主要成本是 LLM 调用,而几乎没人能估算它。
一个 token 值多少钱,和一个功能值多少钱,两者之间的差距正是多数规划争论发生的地方。
上下文、内存和栈的其余部分
同一轮 Hacker News 上还有两个项目,攻的是账单上相邻的部分。9 月 28 日发布的 FastRecall 把自己定位为面向记忆的 OpenRouter,让上下文在模型和服务商之间迁移。它给出的价格是 100 个上下文、每个 500 条消息,月费最低 7.00 美元,不含模型服务商的费用。它表示自己不用基于 LLM 的记忆压缩,因为这类方法会增加延迟、成本和检索错误。
同样在 9 月 28 日发布的 Caspian 打的是构建这一侧。这款桌面应用把输入的想法变成计划,再变成可运行的项目,并称会把每处改动匹配到合适的模型,在运行前显示成本、token 数和时间。其免费档公布最多五个项目,带一个徽章。
三者指向同一个方向:有意思的工作已经从模型本身的质量,转移到模型周围那套管道上,计费表真正转动的地方就在那里。
说法到此为止
这些数字都没有独立验证。2 倍这个标题数字,以及 92% 和 19% 的拆分,都是 Magnitude 自己针对 llama.cpp 跑出的基准,由公司发布。FastRecall 的 7.00 美元是平台估算,不含服务商费用;500 次回忆显示的 0.00 美元也是估算,不是报价。Copes 直说他的输出是规划估算,不是厂商报价。
在有人复现之前,把这一切当作厂商算术。这不是在挑这些项目的毛病。这就是推理定价的常态:公布的价格、缓存折扣和硬件假设,变得比谁的表格都快。
资料来源
5- 01Launch HN: Magnitude (YC S25) – Self-optimizing inference engine for agentsEN
- 02Inference Cost CalculatorEN
- 03Show HN: HN.watch – Videos of all Hacker News postsEN
- 04Show HN: FastRecall, OpenRouter for MemoryEN
- 05Show HN: Caspian – Desktop app to build and launch small vibe-coded projectsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。