跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

AI加速器的显存墙:d-Matrix、微软与3D DRAM的路线之争

AI加速器正撞上一道显存难题,设计者越来越多地用垂直堆叠芯片来解决。在Hot Chips 2026上,d-Matrix称其Raptor设计把台积电N4逻辑裸片叠在3D DRAM裸片之上,能突破它所说的HBM封装大约20 TB/s的带宽上限。

科技解释王雅琴发布: 2026年9月27日5 分钟阅读资料来源 2
AI加速器的显存墙:d-Matrix、微软与3D DRAM的路线之争

模型权重还在变大。KV cache随上下文长度乘以批大小而增长。ServeTheHome在报道d-Matrix于9月14日Hot Chips 2026的演讲时算了一笔账:64个用户、100万上下文,KV cache就可能达到约935 GB。权重和缓存加在一起,同时带来容量和带宽两个问题。两者都在持续增长。

SRAM能达到带宽目标,但规模极小。一对Corsair SRAM加速卡在约1 ns延迟下能跑到大约300 TB/s,却只装得下约4 GB。一个6T SRAM单元的尺寸约为DRAM单元的10倍。在GB级规模下,漏电会达到数十瓦。所以SRAM适合做投机解码里的草稿模型,不适合存放前沿模型的权重。

HBM解决了容量,没解决带宽

HBM解决了问题中容量的一半,却在带宽上吃力。引脚速率和每个基底裸片的I/O宽度提升缓慢。堆叠数量受封装可用岸线限制,每个封装大约8到16个堆叠。d-Matrix给出的实际带宽上限约为20 TB/s,适用于NVIDIA Vera Rubin和AMD Instinct MI455这类HBM4封装。

这么高的带宽要付出功耗代价。按2.4 pJ/bit计算,用HBM推送100 TB/s要消耗约1.92 kW,这还没算任何互连流量。据ServeTheHome的报道,如今的封装既缺岸线也缺功耗预算,无法用HBM达到SRAM级的带宽。

d-Matrix的办法是把计算直接叠在DRAM裸片上方。堆叠带来散热难题,因为数百瓦的热量必须穿过温度敏感的DRAM堆叠中的TSV散出。它还会因IR drop带来供电难题。d-Matrix称,不超过0.5 W/mm2的1-Hi逻辑在上堆叠可以液冷,并把DRAM温度控制在100 C以下。

公司把3D DRAM放在能耗阶梯的两端之间。片上SRAM约为50 fJ。2.5D HBM4系统把芯片级能耗算进去,落在2.5到5 pJ区间。垂直3D IO约为0.3到0.4 pJ,比HBM低约10倍,因为它是无PHY的毫米级路径,而不是厘米级的中介层走线。堆叠层数比HBM少,也意味着裸片更大、良率更好。

时间都花在解码上

Prefill并行处理大量提示词token,受计算吞吐限制。Decode一次生成一个token,通常受显存带宽限制。在高GQA和投机解码下,注意力可能转为计算受限。MoE即使在中等批大小下也仍是显存受限。Decode正是需要巨大带宽的阶段。

由于decode占了实际运行时间的大头,显存受限的那部分最关键。d-Matrix指出,大部分推理时间花在decode阶段,所以提升decode带宽就能提升整体推理性能。每卡320亿字节,配4位权重和8位KV cache,d-Matrix把系统做到能装进一个机架。72卡的scale-up可以承载Kimi K3这类前沿模型的100万上下文。解耦和多机架部署则超出单个Raptor机架的范围。

实现本身叫Raptor。台积电N4逻辑裸片用36 um面对面堆叠坐在3D DRAM裸片之上,d-Matrix称这是成熟、低成本、大批量、高良率的工艺。每个张量引擎每次访问需要1280亿分之一的flit。来自320亿字节bank的每次列访问交付320亿分之一字节,算下来每个通道需要4个bank。裸片有840个bank,去掉72个备用后是768个,分布在256个通道上,每个通道只有3个bank。每个通道3个bank时,单次访问返回960亿分之一字节。要交付1280亿分之一的flit就得两次访问,取回1920亿分之一字节,在接近33 TB/s时浪费约33%的带宽。

流式分块把这部分浪费收了回来。d-Matrix让一次不完整的320亿分之一字节访问供三个flit共用,于是4次960亿分之一字节的访问喂3个1280亿分之一的flit,3840亿分之一字节进、3840亿分之一字节出。过取降为零,也不需要移位网络。按0.37 pJ/bit搬运100 TB/s,光I/O就要296 W,而常规DBI能省下20%。流式翻转不用额外引脚就能拿到这20%。它把每个flit与前一个比较,需要时取反,每个flit带一个元数据位,与ECC一起传输。

微软的Maia 200走另一条路

微软借Hot Chips 2026详细介绍了第二代Maia 200加速器,ServeTheHome在8月26日做过报道。这颗3nm芯片有1400亿个晶体管,六堆HBM3e,7TB/s的HBM带宽,750瓦TDP,在820mm2的SoC裸片上提供1万TFLOPS的FP4性能。它采用Software Defined Local Access数据流架构,数据流在编译时确定,数据访问留在计算单元内部。它没有scale-out网络:微软的幻灯片显示,一个scale-up域里有128个机架、6000颗芯片,跑在统一以太网上。

两种不同的押注,一个共同的约束。无论是把DRAM叠在逻辑下方,还是让HBM配上软件定义的数据流,两种设计都被同一件事塑造:把比特搬进搬出显存的代价。

评论 0

资料来源

2
  1. 01d-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026EN
  2. 02Microsoft's Maia 200 AI Accelerator at Hot Chips 2026EN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。