芯耀
与非AI
107
0 引言
大模型训练与推理业务的爆发，推动高带宽存储技术快速发展。HBM 凭借 3D 堆叠架构带来的超高带宽，成为 AI 训练集群的标配存储方案，行业一度形成 “AI 算力必选 HBM” 的选型倾向。
但随着 AI 产业从训练侧主导转向训练规模化、推理普惠化，边缘推理、云端高并发推理等场景快速增长，HBM 高昂的成本、紧张的产能与推理场景的需求出现错配。原本广泛应用于消费电子的 LPDDR 内存，凭借低功耗、低成本、供应链成熟的特性，逐步在 AI 推理场景落地，形成与 HBM 差异化互补的市场格局。
本文从工程选型视角出发，拆解两类场景的内存需求差异，梳理两种存储技术的适配性，明确选型边界，为 AI 硬件设计提供落地参考。
1 AI 训练与推理场景的内存需求差异
很多选型误区源于混淆训练与推理的内存诉求，两类场景的工作负载特征不同，对内存的性能指标权重存在显著差异。
1.1 AI 训练场景：带宽优先，吞吐量为核心
AI 训练的核心是海量数据下的参数迭代更新，需要持续进行大 Batch 数据读写、梯度计算与参数同步。这类场景的核心特征是：
内存带宽直接决定训练吞吐效率，是第一优先级指标；
模型参数量大，对内存容量要求高；
设备持续高负载运行，对功耗的敏感度低于性能；
部署规模集中，单集群设备量有限，对供应链弹性要求较低。
HBM 通过 TSV 堆叠与 2.5D 共封装实现超大位宽，带宽可达 TB 级，匹配大模型训练的带宽需求，是当前超大规模训练场景的主流方案。
1.2 AI 推理场景：时延、功耗、成本多维度权衡
AI 推理基于已训练完成的模型，对实时输入数据进行计算输出，服务于智能问答、图像识别、端侧交互等落地场景。这类场景的核心特征是：
多并发、小 Batch 为主，对内存带宽的需求远低于训练场景；
关注低时延响应，对内存延迟有一定要求；
部署规模大（万台至十万台级），硬件 BOM 成本与运维功耗是核心约束；
量产交付周期紧，对供应链稳定性要求高。
在这类场景中，HBM 的超高带宽大多处于冗余状态，其高成本、长交付周期反而成为规模化落地的制约因素，低功耗、高性价比的 LPDDR 具备更强的适配性。
2 LPDDR 面向 AI 推理场景的技术适配性
LPDDR（低功耗双倍数据率内存）原本面向移动终端优化，核心特点是低功耗、高集成度。随着工艺迭代，LPDDR5X、LPDDR6 的带宽性能大幅提升，已能够覆盖绝大多数 AI 推理场景的需求，同时具备 HBM 无法比拟的工程落地优势。
2.1 成本优势适配规模化部署
HBM 市场集中度高，产能主要由头部厂商把控，叠加 AI 需求爆发，长期处于供给紧张状态，单颗芯片成本远高于通用 DRAM。 而 LPDDR 供应链体系成熟，全球多家存储厂商具备量产能力，产能充足，国产化替代进程快，单位容量成本显著低于 HBM。对于批量部署的推理服务器、边缘算力设备，LPDDR 可大幅降低硬件 BOM 成本，提升方案的经济性。
2.2 低功耗特性降低运维成本
数据中心推理设备需 7×24 小时不间断运行，整机功耗直接决定长期电费支出与散热成本。HBM 为实现极致带宽，堆叠架构带来的功耗密度较高；而 LPDDR 针对低功耗场景设计，工作电压更低，支持多种低功耗休眠模式，待机与工作功耗均显著优于 HBM。 在高密度推理集群中，采用 LPDDR 方案可有效降低整机功耗，减轻散热系统压力，缩减数据中心长期运维成本。
2.3 性能可覆盖主流推理需求
行业对 LPDDR “性能偏低” 的认知已不符合当前技术水平。以主流的 LPDDR5X 为例，64bit 位宽下理论带宽可达 68~85GB/s，新一代 LPDDR6 带宽进一步提升。 从推理负载需求来看，7B~13B 参数的量化模型，单路推理的内存带宽需求通常在 10~30GB/s，LPDDR5X 可同时支持多路并发推理，性能余量充足。对于端侧 AI、边缘网关、轻量化推理服务器等场景，LPDDR 不存在带宽瓶颈。
2.4 供应链稳定保障量产交付
HBM 产能扩张周期长，高端产品交付周期可达数月，容易导致硬件项目研发、量产延期。LPDDR 经过消费电子市场多年迭代，供应链体系完善，交付周期短，供货稳定性高，能够适配 AI 硬件快速迭代、快速量产的节奏，规避供应链风险。
3 分场景内存选型边界与方案建议
AI 硬件选型中，盲目选用 HBM 或全盘替代都并非最优解，核心是根据应用场景的需求优先级，实现性能、成本、供应链的最优平衡。
3.1 优先选用 HBM 的场景
千亿级及以上参数的超大模型训练场景；
超大规模云端算力集群、极致性能的大 Batch 推理场景；
对带宽要求极高，且成本敏感度较低的高端算力设备。
这类场景对内存带宽、吞吐量要求极高，HBM 的性能优势显著，仍是当前的主流方案。
3.2 优先选用 LPDDR 的场景
中小参数模型（7B~70B）推理、量化压缩模型部署；
云端高并发通用推理服务器、边缘 AI 算力设备；
这类场景追求性价比与批量部署能力，LPDDR 的性能可满足需求，同时具备显著的成本与供应链优势，是更优的选型方案。
4 AI 存储技术发展趋势
4.1 双轨并行的市场格局成型
AI 存储市场已从 HBM 单一主导，转向 “HBM 深耕高端训练、LPDDR 普惠推理落地” 的双轨格局。两类技术针对不同场景优化，不存在绝对的替代关系，而是形成互补的市场结构。
4.2 技术持续迭代，边界动态变化
LPDDR 侧：LPDDR6 已进入量产阶段，带宽持续提升，未来将向更高端的推理场景渗透；
HBM 侧：HBM4、HBM4E 持续升级堆叠层数与带宽，继续巩固训练与高端推理市场；
补充技术：CXL 内存池化、存储级内存等技术逐步落地，将进一步丰富 AI 存储的方案选择。
4.3 选型向精准匹配演进
对于硬件研发与选型人员，AI 内存设计的核心逻辑正从 “堆叠高端配置” 转向 “需求精准匹配”。项目立项阶段需结合模型参数量、并发规模、应用场景、预算与交付周期综合评估，摒弃选型路径依赖，通过差异化方案优化成本、管控风险。
结语
HBM 与 LPDDR 是两条不同技术路线的存储方案：HBM 以高成本、高复杂度换取极致带宽，是 AI 训练场景的核心支撑；LPDDR 以牺牲部分峰值带宽为代价，实现低功耗、低成本与高供应链稳定性，精准适配 AI 推理规模化落地需求。
在 AI 产业精细化发展的当下，脱离场景讨论存储优劣没有实际意义。结合业务负载特征选择适配的存储方案，才能在保证性能的前提下，实现最优的成本效益与交付效率。
本文基于公开技术资料与行业应用现状整理，仅供硬件设计与技术选型参考。
