自托管推理的成本差距,不在 API 定价,而在编排工具
Nexlab 在 2026 年 9 月对比了七款自托管推理编排工具。最便宜的那款根本不支持集群;能跨多块 GPU 的工具,则都带着厂商 README 里写明的限制。

这份调查由 Nexlab 于 9 月 20 日发布,把 LocalAI、exo、GPUStack、Xinference、Ollama、vLLM 和 CoderAI 放在一起,比较采购方真正关心的几项:多机支持、缓存感知路由、云端突发和训练。星标数取自同一天的 GitHub API,功能一栏来自各项目自己的 README 和文档。作者无法确认的地方,表格里直接写明,不靠猜。
排名结果和采购 PPT 的预期不一样。拥有 181000 个星标的 Ollama 被定位为笔记本或单台台式机的答案,仅此而已:一台机器、一次一个模型,除了用 Open WebUI 在几个 Ollama 地址之间轮询,没有任何集群方案。需要更多能力的人,文章建议读到这里就停下。Mozilla 的 llamafile 属于同一类:一个可执行文件覆盖 Linux、macOS、Windows 和 BSD,设计上只面向单机。
真正能跨硬件的项目,运行成本也更高。vLLM 通过 Ray 实现张量并行和流水线并行,并按实例做前缀缓存,但它不管理模型、用户和放置。拥有 129000 个星标的 llama.cpp 靠在每台机器上运行 rpc-server、在主机上加 --rpc 参数来跨机器。两者都不是多数买家所说的编排器,它们是 LocalAI、GPUStack、Xinference 和 CoderAI 底层运行的东西。
macOS 的例外和 Linux 的缺口
exo 得到了全文最强的单独推荐。零配置发现,按每台设备内存比例做 ring、流水线和张量切分,底层是 MLX,较新的 Mac 上还支持基于雷雳 5 的 RDMA。厂商给出的数字是四台设备做张量并行时达到 3.2 倍扩展。但截至 2026 年 9 月,exo 在 Linux 上只支持 CPU,NVIDIA 和 AMD 支持仍标注为开发中,而且它只服务语言模型,图像生成藏在功能开关后面。调查的结论很直接:如果你的硬件是 Apple Silicon,没有别的能比;如果不是,exo 目前不适合你。
LocalAI 是通用选项里覆盖最广的一个。文本、图像、视频、音频、嵌入和重排,每个后端都是独立 OCI 镜像里的 gRPC 服务,不需要 GPU,提供 Helm chart,并从 2026 年 6 月起有了真正的分布式模式。--p2p 参数会生成共享令牌,实例之间通过 libp2p 和 EdgeVPN 互相发现,请求会转发到负载最低的节点,基于 NATS 的 v3 路由器能感知显存和前缀缓存。后端镜像使用 cosign 签名。它做不到的事:租 GPU、把非 LLM 请求拆分到多台机器、训练。作者写道,纯 LLM 吞吐比专用引擎低几十个百分点,因为通用性要付出代价。
GPUStack 和 Xinference 被归为管理节点加工作节点的设计,都带网页控制台,背后都有公司支持,也都是作者在亚洲看到的集群部署方式。5700 个星标的 GPUStack 更偏运维:用户和角色、带计量的 API 密钥、Prometheus 和 Grafana、故障模型自动恢复、界面里查看 Ray 工作节点日志,并支持包括昇腾、海光和摩尔线程在内的九家加速器厂商。9600 个星标的 Xinference 在后端跑 vLLM 时,能在多个副本之间共享 KV 缓存。
它站在一百家服务商和你自己的端点前面,管理密钥、预算和开销记录,自己从不运行模型。
这句话说的是 LiteLLM,调查指出它常被误当成自托管方案。它不是。它在各个端点和云之间做路由,本身不加载任何权重。
两个生产定位最强的条目,重点并不在成本。8100 个星标的 NVIDIA Dynamo 和 4600 个星标的 llm-d 做分离式预填充和解码,配 KV 感知路由,两者都要求 NVIDIA 硬件上的 Kubernetes。10600 个星标的 SkyPilot 和 2300 个星标的 dstack 负责把作业调度到多个集群并能突发到云,这和高效服务一个模型是两回事。CoderAI 是作者自己的项目,新上线、没有星标,文章开头已作说明,它声称支持按模型预算的云端突发和分布式 LoRA,在 Linux CUDA 和 Vulkan 上提供 cosign 签名镜像。
有两个项目被点名只为排除。Petals 最后一次提交在 2024 年。Hugging Face TGI 于 2026 年 3 月归档。调查还指出,vLLM 的 production-stack 是表中引擎里唯一被标为生产可用的 Kubernetes 方案,签名镜像也少见:LocalAI 和 CoderAI 用 cosign,大多数项目没有。
对正在权衡推理预算投向的团队,这份调查没有给价格表。它给的是一张不那么舒服的地图:哪些编排器真能用上第二块 GPU,哪些不能,以及哪些会在自己的文档里如实告诉你。
资料来源
1本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。