跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

自托管推理的成本差距,不在 API 定价,而在编排工具

Nexlab 在 2026 年 9 月对比了七款自托管推理编排工具。最便宜的那款根本不支持集群;能跨多块 GPU 的工具,则都带着厂商 README 里写明的限制。

人工智能与模型新闻林晓雯发布: 2026年9月27日4 分钟阅读资料来源 1
自托管推理的成本差距,不在 API 定价,而在编排工具

这份调查由 Nexlab 于 9 月 20 日发布,把 LocalAI、exo、GPUStack、Xinference、Ollama、vLLM 和 CoderAI 放在一起,比较采购方真正关心的几项:多机支持、缓存感知路由、云端突发和训练。星标数取自同一天的 GitHub API,功能一栏来自各项目自己的 README 和文档。作者无法确认的地方,表格里直接写明,不靠猜。

排名结果和采购 PPT 的预期不一样。拥有 181000 个星标的 Ollama 被定位为笔记本或单台台式机的答案,仅此而已:一台机器、一次一个模型,除了用 Open WebUI 在几个 Ollama 地址之间轮询,没有任何集群方案。需要更多能力的人,文章建议读到这里就停下。Mozilla 的 llamafile 属于同一类:一个可执行文件覆盖 Linux、macOS、Windows 和 BSD,设计上只面向单机。

真正能跨硬件的项目,运行成本也更高。vLLM 通过 Ray 实现张量并行和流水线并行,并按实例做前缀缓存,但它不管理模型、用户和放置。拥有 129000 个星标的 llama.cpp 靠在每台机器上运行 rpc-server、在主机上加 --rpc 参数来跨机器。两者都不是多数买家所说的编排器,它们是 LocalAI、GPUStack、Xinference 和 CoderAI 底层运行的东西。

macOS 的例外和 Linux 的缺口

exo 得到了全文最强的单独推荐。零配置发现,按每台设备内存比例做 ring、流水线和张量切分,底层是 MLX,较新的 Mac 上还支持基于雷雳 5 的 RDMA。厂商给出的数字是四台设备做张量并行时达到 3.2 倍扩展。但截至 2026 年 9 月,exo 在 Linux 上只支持 CPU,NVIDIA 和 AMD 支持仍标注为开发中,而且它只服务语言模型,图像生成藏在功能开关后面。调查的结论很直接:如果你的硬件是 Apple Silicon,没有别的能比;如果不是,exo 目前不适合你。

LocalAI 是通用选项里覆盖最广的一个。文本、图像、视频、音频、嵌入和重排,每个后端都是独立 OCI 镜像里的 gRPC 服务,不需要 GPU,提供 Helm chart,并从 2026 年 6 月起有了真正的分布式模式。--p2p 参数会生成共享令牌,实例之间通过 libp2p 和 EdgeVPN 互相发现,请求会转发到负载最低的节点,基于 NATS 的 v3 路由器能感知显存和前缀缓存。后端镜像使用 cosign 签名。它做不到的事:租 GPU、把非 LLM 请求拆分到多台机器、训练。作者写道,纯 LLM 吞吐比专用引擎低几十个百分点,因为通用性要付出代价。

GPUStack 和 Xinference 被归为管理节点加工作节点的设计,都带网页控制台,背后都有公司支持,也都是作者在亚洲看到的集群部署方式。5700 个星标的 GPUStack 更偏运维:用户和角色、带计量的 API 密钥、Prometheus 和 Grafana、故障模型自动恢复、界面里查看 Ray 工作节点日志,并支持包括昇腾、海光和摩尔线程在内的九家加速器厂商。9600 个星标的 Xinference 在后端跑 vLLM 时,能在多个副本之间共享 KV 缓存。

它站在一百家服务商和你自己的端点前面,管理密钥、预算和开销记录,自己从不运行模型。

这句话说的是 LiteLLM,调查指出它常被误当成自托管方案。它不是。它在各个端点和云之间做路由,本身不加载任何权重。

两个生产定位最强的条目,重点并不在成本。8100 个星标的 NVIDIA Dynamo 和 4600 个星标的 llm-d 做分离式预填充和解码,配 KV 感知路由,两者都要求 NVIDIA 硬件上的 Kubernetes。10600 个星标的 SkyPilot 和 2300 个星标的 dstack 负责把作业调度到多个集群并能突发到云,这和高效服务一个模型是两回事。CoderAI 是作者自己的项目,新上线、没有星标,文章开头已作说明,它声称支持按模型预算的云端突发和分布式 LoRA,在 Linux CUDA 和 Vulkan 上提供 cosign 签名镜像。

有两个项目被点名只为排除。Petals 最后一次提交在 2024 年。Hugging Face TGI 于 2026 年 3 月归档。调查还指出,vLLM 的 production-stack 是表中引擎里唯一被标为生产可用的 Kubernetes 方案,签名镜像也少见:LocalAI 和 CoderAI 用 cosign,大多数项目没有。

对正在权衡推理预算投向的团队,这份调查没有给价格表。它给的是一张不那么舒服的地图:哪些编排器真能用上第二块 GPU,哪些不能,以及哪些会在自己的文档里如实告诉你。

评论 0

资料来源

1
  1. 01Self-hosted inference orchestrators compared: LocalAI, exo, GPUStack, vLLMEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。