据韩媒报道，已被英伟达实际收购的人工智能半导体公司Groq正计划将一种三维堆叠式DRAM封装技术应用于下一代芯片。此举被解读为Groq试图通过摆脱目前以SRAM为中心的芯片设计（SRAM速度快但容量小）来大幅提升芯片容量。

Grok采用的方法被称为3DS（3D堆叠式存储器）。3DS是一种高容量封装，它使用硅通孔（TSV）垂直连接DRAM芯片。虽然它与高带宽存储器（HBM）类似，都使用TSV，但与专注于数据传输速度的HBM不同，3DS专注于在保持现有DRAM接口的同时扩展容量。

一位半导体行业内部人士表示，“Groq计划在其下一代芯片中引入3D封装技术”，并补充道，“这项技术涉及堆叠DRAM而非现有的SRAM。”业内人士 将Groq此举解读为旨在大幅提升芯片容量。SRAM 速度快但容量有限，而DRAM速度相对较慢，但更适合实现大容量芯片。

从这个消息可以看到，3D DRAM似乎正在成为必经之路。

SRAM的容量增长，已经跟不上模型扩张

作为另一个赛道的英伟达的竞争者，d-Matrix的技术路线转——从SRAM计算到3D堆叠DRAM的演进——很好地解析了Groq这个转变的原因。因为在此前，Groq的解决方案用的也是SRAM

在此前接受Tae Kim采访的时候，d-Matrix公司CEO Sid Sheth表示，公司最初推出的Corsair采用SRAM作为计算架构的一部分。按照Sheth的解释，d-Matrix在选择存储技术时，主要考虑了两个因素：一是存储器必须支持灵活编程，能够适应数据中心不断变化的工作负载；二是计算结果需要具备数字电路所要求的可预测性和准确性。基于这些考虑，公司选择了SRAM。

SRAM的优势在于能够支持高速、低延迟的数据访问，因此适合对交互速度要求较高的AI推理任务。但随着模型规模和上下文长度不断增长，SRAM的容量扩展能力开始成为限制。

Sheth指出，SRAM与逻辑芯片采用相同的逻辑工艺，其容量增长也受到晶体管缩放速度放缓的影响。他在采访中给出的对比是，SRAM容量每两年只能增加约10%至20%，而模型规模可能每六至九个月就翻一倍。

这意味着，单纯依靠SRAM，越来越难以同时满足模型对内存容量和带宽的需求。

问题的关键并不只是SRAM成本高，而是它的容量增长速度已经难以匹配AI模型的扩张速度。继续沿用原有架构，即使计算能力不断提升，也可能因为内存资源不足而无法充分发挥性能。

因此，d-Matrix需要寻找一种新的存储器扩展方式：既保留SRAM在高速访问方面的优势，又引入更大容量的存储资源。这就引至他们转向3D DRAM。

所谓3D DRAM ，指的是沿垂直方向存储比特的架构，类似于 3D NAND。

从设计上看，3D DRAM堆叠技术将DRAM置于处理器之上，实现了更紧凑的设计，从而提高了数据传输效率。这反过来又使AI处理器能够处理更大的模型并更快地生成结果，为未来AI硬件的持续扩展铺平了道路。

3D DRAM堆叠技术的一些显著优势包括提升带宽、降低延迟和提高能效，这些对于人工智能的未来发展至关重要。此外，空间利用率也同样重要，因为堆叠芯片可以让设计人员在更小的空间内集成更多功能，这对于移动设备和可穿戴设备等应用至关重要。人工智能系统需要处理的数据量越来越大，因此减少数据传输距离对于提升性能并保持高质量结果至关重要。

3D DRAM的关键，不只是增加内存容量

关于Groq的3D DRAM方案，我们由于找不到太多的资料，在这里就无法展开。考虑到此前有传言英伟达考虑收购或者投资d-Matrix。因此在接下来的文章中，我们将分析他们的解决方案，以了解这种转变背后的多层原因。

据介绍，在3D DRAM方面，d-Matrix给出的方案是将定制DRAM裸片与SRAM计算裸片进行3D堆叠封装。

Sheth特别强调，这并不是传统意义上的HBM方案。按照他的介绍，Raptor采用两个不同的裸片：一个是逻辑计算裸片，另一个是DRAM裸片。前者由台积电制造，后者由台湾力积电（PSMC）制造，随后通过封装厂采用Chip-on-Wafer（CoW，晶圆上芯片）技术进行集成。

这种架构的意义，首先体现在内存容量的扩展上。通过增加一层DRAM，d-Matrix可以在保留原有SRAM计算架构的基础上，提供更多存储空间。

但在Sheth看来，更值得关注的是3D堆叠带来的数据访问方式变化。

传统GPU与HBM的组合，虽然已经通过先进封装实现了较高的内存带宽，但计算芯片与HBM之间的数据连接仍然受到物理布局和连接界面的限制。Sheth将其形象地描述为只能利用存储器或GPU的“临海地带”（beachfront）访问数据，即真正用于连接和传输数据的界面有限。

而在d-Matrix的方案中，计算裸片与DRAM裸片上下堆叠，DRAM可以利用更大的表面区域与计算部分建立数据连接，让数据直接向下传输到计算单元。

换句话说，3D DRAM并非只是把更多存储器放到芯片附近，而是试图改变内存与计算之间的连接关系，为提高数据传输带宽创造条件。

这也是d-Matrix将其视为下一代推理架构重要突破的原因：它希望同时解决内存容量不足和数据访问带宽受限的问题，而不是只改善其中一项。

需要注意的是，以上是Sheth对架构设计思路的解释，并不意味着3D DRAM已经在所有性能指标上超越HBM。实际表现仍取决于具体的设计、封装实现和产品验证。

如果只从内存容量和带宽来理解3D DRAM，仍然不足以解释d-Matrix为什么要采用这条技术路线。在采访中，Sheth提出了一个重要区分：AI推理芯片的竞争，存在吞吐量与交互性之间的权衡。

吞吐量关注单位时间内能够完成多少工作；交互性则关注用户发出请求后，系统能够多快给出响应。两者相关，却不是同一个指标。

以GPU为代表的HBM方案，在高吞吐量任务上具有优势，适合处理大量并行工作负载。d-Matrix并不认为自己要在所有场景中取代GPU，而是希望服务于另一类需求：对响应延迟特别敏感的AI应用。

Sheth表示，d-Matrix采用SRAM与3D堆叠DRAM的组合，优先优化内存带宽，其次才是内存容量，希望在吞吐量与交互性的权衡曲线上占据不同的位置。

这一定位与AI应用的变化密切相关。

在批量处理任务中，系统可以通过一次处理大量请求来提高整体效率。但在编程智能体、网络安全智能体和语音交互助手等场景中，用户或其他智能体需要持续与模型交互，等待时间会直接影响体验。

尤其是智能体应用，其工作过程往往不是一次性生成结果，而是反复进行推理、调用工具、读取信息并作出下一步决策。响应延迟越低，整个交互过程就越流畅。

因此，d-Matrix押注的不是所有AI计算任务，而是那些需要快速响应、持续交互的推理负载。

Sheth在采访中预计，未来70%至80%的AI应用会对延迟敏感。这是他对市场发展的判断，而非已经得到验证的行业统计数据。

写在最后

虽然是一项被高度看好的技术。但正如应用材料在其博客中所说，DRAM 的速度几乎是 NAND 的 1000 倍，其高速性能的实现得益于使用高迁移率硅衬底作为沟道的初始材料。DRAM 的高速性能还源于电荷可以快速地在电容器中移动，而随着 DRAM 在垂直方向上的不断扩展，需要新的材料创新来实现高迁移率和超低缺陷的沟道。

Rambus专家在一篇博客中也指出，将内存和处理器堆叠在一起时，良率和可靠性也是需要考虑的问题。如他所说，在堆叠结构中，任何一层出现缺陷都可能影响整个堆叠结构，从而降低制造良率并增加成本。这就凸显了维修和冗余资源的重要性，它们能够提高制造可靠性，从而改善良率并降低生产成本。

设计3D堆叠式内存也更具挑战性，因为工程师必须考虑内存如何与处理器和加速器交互，以优化性能和能效。这些挑战，加上更高的封装成本，意味着尽管堆叠式内存是人工智能的强大解决方案，但要有效实施，需要周密的规划和大量的投资。

半导体行业一直在努力应对这些挑战，并取得了一系列进展，这些进展将有助于实现未来超级芯片的愿景。内置自测试 (BIST) 措施、先进的 EDA 工具、光互连和人工智能辅助设计等，都是为应对这些挑战并提高芯片效率而持续努力的例证。随着行业在堆叠技术方面积累更多经验，与垂直集成芯片的调试和验证相关的挑战将通过新的方法得到解决，从而降低成本并提高良率。

最后，值得一提的是，国内也有多家厂商在3D DRAM这个赛道竞逐，你知道有那些吗？欢迎大家在留言区对这个技术的现状和未来进行更广泛的讨论！