跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

八张 PCIe 卡,输入吞吐量提升 6.87 倍:软件弥补硬件短板

中国公司是石科技在不更换模型和硬件的前提下,将八张 PCIe 卡上 V4.1-Flash 的输入吞吐量从每秒 1932 个 token 提升至 13274 个。

科技分析林晓雯发布: 2026年9月24日6 分钟阅读资料来源 2
八张 PCIe 卡,输入吞吐量提升 6.87 倍:软件弥补硬件短板

“模型能跑”与“模型能跑出可观吞吐量”之间的差距,如今往往比两代显卡的代际差异还要大。量子位报道了是石科技(METASTONE)的案例。这家公司专注于优化,既不修改模型结构,也不更换硬件。

这类卡通常面临两个问题:卡间缺乏高速互联,且不在主流框架的官方支持矩阵中。框架不会报错,而是悄悄绕过加速路径,回退到通用的慢速实现。在八张纯 PCIe 卡上,V4.1-Flash 发布当天的基线版本输入吞吐量为每秒 1932 个 token。团队补齐了缺失的算子内核,修复了稀疏注意力的快速预处理路径,替换了稠密 GEMM 操作中较慢的 FP8 内核,并扩大了 PCIe 上快速 IPC 通信的覆盖范围。吞吐量随之升至每秒 5850 个 token。这是第一阶段,被称为“模型与硬件协同”。

第二阶段:通信、显存与缓存

核心工作从这里开始。工程师将注意力算子与投影算子融合,把计算隐藏在集合通信的空隙中,并根据 PCIe 的实际带宽重写了通信逻辑。预填充阶段和生成阶段的并行策略被分别调优。最后,动态调整了静态显存占比、KV 缓存容量及显存复用机制。输入吞吐量从 5850 提升至每秒 13274 个 token,总提升幅度为 6.87 倍,同时保持对一百万 token 上下文的支持。

同一套方法在其他模型上同样有效。DeepSeek-V4-Flash 的输入吞吐量从每秒 14546 个 token 升至 22584 个,提升 1.55 倍。GLM5.3 从 3236.78 升至 6222.72,提升 1.92 倍。首个 token 的 P95 延迟从 141.6 秒降至 46.6 秒,上下文上限从 27 万扩展至 105 万 token。仅第一阶段,就在多个模型上带来了 20% 到 33% 的性能增长。

相对顶级硬件的水平

作者如实提供了参照数据。在相同并发水平下,B300 的输入吞吐量约为这台八卡机器的 4.9 到 5.6 倍(基于 DeepSeek-V4-Flash 对比);在 GLM-5.3 上,该比值为 3.5 到 4.7 倍。差距并未消失,但明显小于仅凭规格参数得出的印象。在视频生成方面,基于 MiniMax H3 模型,使用参考图生成 15 秒视频的速度提升了 2.48 倍。该方法也在国产 GPU 上得到验证。在那里,需要显式启用 NSA 稀疏注意力,并关闭专为 NVIDIA 和 AMD 平台编写的机制。

有些比较不关注峰值规格,只关注机房中实际运行硬件上每个 token 的生成成本。对于这类比较,上述数据提供了有价值的参照。

评论 0

资料来源

2
  1. 01PCIe 显卡被低估了!DeepSeek 推理吞吐翻近 7 倍 (量子位)ZH
  2. 02DeepSeek V4.1 Flash — prędkość i opóźnienie (Artificial Analysis)EN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。