HBM太贵之后，AI服务器把数据放在哪里？

摘要

随着大模型参数扩张与长文本、多轮推理普及，AI 服务器的实际计算量与历史缓存（KV Cache）持续增长，但数据访问呈现明显的“冷热分化”。在一张高端 AI 加速卡中，HBM 已占整卡物料成本（BOM）近六成。当 AI 厂商不再愿意为每一份历史数据都支付 HBM 的价格，服务器存储正从单纯堆砌 GPU 显存，转向“HBM 保高频核心、DDR5 扩主机容量、MRDIMM 提通道带宽、CXL 破插槽边界、企业级 SSD 做跨轮次持久化”的系统级协同，存储产业链的增量价值也随之向主机内存接口、高速互连与企业级闪存重分配。

HBM太贵了，AI厂商开始重新设计内存系统

刚刚收官的2026 年三季报释放出两个醒目信号：

一是存储原厂利润率反超算力与代工龙头——三季度 SK 海力士营业利润率约 80%，美光毛利率达 86.8%，本土 DRAM 原厂 长鑫科技 Q3 毛利率达 89.5%（单季净利 544 亿元），均超过 英伟达（营业利润率约 65%）和 台积电（约 59%）；在一张旗舰 AI 加速卡上，两颗 GPU 裸片成本不到一千美元，8 颗 HBM 却超五千美元，占整卡 BOM 近六成。

二是下游开始严控显存投入，A 股存储阵营在 Q3 分化——供应链传出市场正讨论将下一代 Rubin Ultra 部分配置的 HBM 容量从 384—512GB 调整至 192GB（尚待官方确认，但反映出下游对显存成本的敏感度）；同时，囤积消费级晶圆的 佰维存储（Q3 净利环比回落 62%）、德明利（前三季经营现金流净流出逾百亿元）短期承压，而服务器内存接口龙头澜起科技（Q3 净利同比 +162%）与企业级放量的 江波龙（Q3 经营现金流转正）表现亮眼。

图：2026三季报利润率倒挂与HBM占加速卡成本

这指向一个贯穿全文的核心问题：当 AI 厂商不再愿意为每一份历史数据都支付 HBM 的价格，存储产业的下一笔钱会流向哪里？

大模型在解码生成（Decode）时，每生成一个新 Token 都需查阅历史对话特征，即 KV Cache（键值缓存）。随着百万 Token 长文本与多轮智能体（Agent）普及，即便引入稀疏架构，实际计算量与 KV Cache 总体积仍在增长。但数据访问极不均匀：高频读取的只是模型权重、轻量检索索引与近期热数据，绝大部分早期历史缓存长期处于低频待命的“温冷状态”。

为什么不把单卡 HBM 容量无限做大？以 HBM4 为例，需将接口带宽与堆叠容量分开看：峰值带宽由2048-bit 接口宽度（32 个独立通道） 和引脚速率决定，而12-Hi、16-Hi 垂直堆叠主要决定容量。在775 微米封装限高下，高层堆叠使晶圆减薄、硅通孔（TSV）、散热与良率挑战陡增，叠加铜-铜混合键合探索与先进工艺 Base Die 导入，靠堆高 HBM 买容量的边际成本越来越高。因此，不仅云厂商自研芯片严控 HBM 用量，华为昇腾 950 也通过“一芯双构”将预填充与解码分拆，分别匹配低成本显存与高带宽显存。

从GPU显存到CPU内存：历史缓存如何迁移？

以DeepSeek（动态稀疏注意力 DSA） 和智谱 GLM-5.3（IndexShare） 为代表的模型，为历史缓存建立了轻量级检索目录（Indexer KV），每步生成只挑出最相关的少数历史片段参与计算。

vLLM 团队发布的 GLM-5.3（100 万 Token 上下文）工程报告提供了可复现的真实基准：在单台 8×H200 服务器上对比传统卸载与Hybrid HiSparse，两者均使用512GiB 主机内存预算（其中 Hybrid HiSparse 分配 384GiB 给 HiSparse、128GiB 给其他缓存）。实测中，`Indexer KV` 始终保留在 GPU HBM 侧，主干缓存仅在GPU 显存出现压力时 才逐步将较冷数据卸载到 CPU 内存，被目录抽中时再异步预取回 GPU。结合 Kimi Mooncake、华为 UCM 与DeepSeek 3FS，AI 推理存储正形成四层分工：

图：AI服务器存力四层金字塔协同

DDR5之后，服务器为什么需要MRDIMM和CXL？

当历史缓存迁移到 CPU 侧后，硬件依次遇到三个工程瓶颈，对应 DDR5 RDIMM、MRDIMM 和 CXL 的递进升级。

第一步：容量不够怎么办？——DDR5 RDIMM 解决主机内存扩容

AI 推理服务器主机内存正从 512GB 向 1TB—4TB 扩容。主板上千颗 DRAM 颗粒的电气负载远超 CPU 直驱极限，因此采用 DDR5 RDIMM，由中央RCD（寄存时钟驱动器） 芯片（配 PMIC、SPD、TS）缓冲放大地址与时钟信号。相比英伟达 Grace CPU 将 LPDDR5X 焊死在主板上（单 CPU 锁定 480GB），拥有 24—32 个可插拔 RDIMM 插槽的双路 x86 服务器在推理扩容中更具弹性。

图：DDR5 RDIMM的RCD芯片信号中继原理与Grace焊死内存对比

第二步：容量够了，带宽不够怎么办？——MRDIMM 提升单通道有效带宽

多卡并发预取缓存时，普通 RDIMM 带宽捉襟见肘。MRDIMM（多路复用 Rank 内存模块） 在不给颗粒超频、不加主板通道的前提下，让条上两个 Rank 以原生速率同时准备 64B 数据，再经边缘缓冲芯片以双倍接口速率复用输出 128B，速率跃升至8,800—12,800 MT/s。其单条核心接口主芯片从传统 RDIMM 的 1 颗 RCD 升级为1 颗 MRCD + 10 颗 MDB（共 11 颗），显著提升了澜起科技、Rambus、瑞萨 的单条价值量，但功耗、散热与平台适配门槛也同步提高。

第三步：本地插槽不够怎么办？——CXL 突破单机内存围墙

当主板 DIMM 插槽插满仍不够用时，CXL（计算快速链路） 借用 PCIe 物理接口实现缓存一致性内存扩展。当前正走向商用的是单机内存扩展（Memory Expansion），即在 PCIe 插槽挂载内置 MXC 控制器 的扩展卡增加 TB 级内存（如 阿里云 CXL 共享缓存池、Marvell Structera 带硬件压缩的 DDR4 复用方案）；而跨多机的内存池化（Memory Pooling）仍受制于延迟与软件成熟度，属中长期方向。

图：CXL借用PCIe通道扩展内存架构与两阶段成熟度

SSD开始进入AI推理：FDP与HBF改变什么？

第四步：历史缓存需要长期保存怎么办？——企业级 SSD 与 NVMe FDP

多轮会话暂停或跨请求共享长提示词时，将缓存存入企业级 NVMe SSD 下次直接读回（“以存代算”），可省去重复算力消耗。但 NAND 闪存“按小页写、按大块擦”，传统 SSD 将数天的长命提示词与几十秒作废的短命溢出缓存混写在同一闪存块，触发频繁的后台垃圾回收（GC），导致严重的写放大（WAF）与读取尾延迟。

NVMe FDP（灵活数据放置） 允许软件按缓存寿命打标签、分块存放，短命会话结束时整块直接回收，将写放大显著压低至接近 1 的水平，并大幅改善 GC 尾延迟。这扫清了磨损障碍，配合4nm PCIe 5.0/6.0 主控，使单盘61.44TB—245TB 的QLC 企业级 SSD 凭借高能效比（TB/W）进入 AI 机房。至于借用 TSV 堆叠的 HBF（高带宽闪存），受限于闪存微秒级延迟与擦写寿命，适合存放只读模型参数或冷权重，而非替代 HBM。

图：企业级QLC SSD与NVMe FDP的写放大、能效和机柜密度

AI存储价值链正在重新分配

结合2026 年三季报，SK 海力士、三星、美光 与全球份额升至约 10% 的 长鑫科技、长江存储 通过长约锁定需求（长鑫 Q3 末预收与长协押金达 467 亿元），新产能释放拐点预计在 2027 年底至 2028 年上半年；三大原厂退出成熟产线则使东芯股份（Q3 净利环比 +59% 至 8.30 亿元）与 北京君正（Q3 净利 14.19 亿元）承接利基红利。而在接口互连、主控（含 平头哥镇岳 510）与模组封测环节，必须将“当期已兑现业绩”与“下一步待验证增量”严格区分：

结语：AI存储系统重构的三个产业判断

1. 第一，HBM 仍然是 AI 计算的核心资源。 稀疏注意力和缓存卸载降低的是部分工作负载对 HBM 的静态驻留需求，并未消除对高带宽显存的需求。

2. 第二，AI 推理正在提高主机内存和缓存系统的重要性。 DDR5 RDIMM 与企业级 SSD 已率先兑现业绩，MRDIMM 正随新平台爬坡，CXL 与 HBF 则更偏中长期。

3. 第三，存储产业的竞争正在从单一介质扩展到整个内存系统。 未来的竞争不只是 HBM 容量和价格，还包括内存接口芯片、高速互连控制器、SSD 主控、晶圆级先进封测及缓存调度软件。

资料来源：vLLM GLM-5.3 Hybrid HiSparse 工程报告；SGLang HiSparse 论文；DeepSeek 3FS、Kimi Mooncake 与华为 UCM 技术资料；JEDEC、CXL Consortium、NVMe FDP 标准资料；各公司 2026 年三季报及投资者关系记录；行业专家访谈纪要（2026-10-18、2026-10-22）。