芯耀
269
阿里磐久AI Infra AL128 超节点服务器架构方面，针对 MoE 传输需求，采用非对称双宽柜、节点正交架构、全液冷技术，单柜支持 128 卡，在 LLM 推理解码阶段性能提升 19%-32%，且高可靠、开放兼容。
本文来自“阿里云磐久AI Infra AL128超节点服务器”，“2026年ODCC超节点大会合集（1～4）”和“2025超节点数据中心峰会合集（1~4）”。
一、AI 算力的 “卡脖子” 难题：MoE 模型的传输困境
当大模型进入 “千亿参数 + MoE 混合架构” 时代，企业们发现：GPU 卡数堆得越多，性能反而越难提升。以主流的 128 卡大模型集群为例，传统服务器架构面临两大死结：
传输瓶颈：MoE 模型的专家层调度需要海量跨节点数据交互，TCP/IP 网络延迟导致算力浪费，千卡集群效率往往不足 60%
散热焦虑：高密度 GPU 集群每千瓦功耗产生的热量，让风冷系统濒临极限，频繁触发降频保护
兼容性陷阱：不同厂商的 GPU、存储设备难以协同，企业被迫陷入 “单厂商绑定” 的被动局面这并非个例。根据 2025 年 GPU 市场报告显示，即便企业斥巨资采购 H100（月租金仍达 5 万元），若基础设施架构落后，实际推理性能可能仅能发挥 70%。阿里云在服务小鹏汽车、南方电网等客户时发现，架构瓶颈对 AI 效率的制约，甚至超过了芯片本身的性能差距。
二、AL128 超节点三大技术革命：重新定义 AI 服务器
阿里云发布的磐久 AI Infra AL128 超节点，用三大创新直接击穿行业痛点，单柜 128 卡的配置实现了 “量变到质变” 的突破。
1. 非对称双宽柜：打破传统架构的物理限制
传统服务器采用 “对称机柜 + 水平布局”，跨节点数据传输需要绕路，延迟居高不下。AL128 首创非对称双宽柜设计，将 128 块 GPU 分成两组正交部署的节点：
节点间采用直连拓扑，数据传输距离缩短 60%，MoE 模型的专家调度延迟降低至微秒级
单柜支持 8 个节点组，每个节点组 16 卡，完美匹配大模型的张量并行需求
兼容 X86、ARM 等多芯片架构，实现 “一云多芯” 自由，企业无需担心芯片选型绑定风险
2. 全液冷技术：128 卡集群的散热 “黑科技”
高密度集群的散热难题，被全液冷系统彻底解决：
采用冷板式液冷方案，散热效率是风冷的 5 倍，GPU 核心温度稳定控制在 45℃以下
功耗密度提升至 30kW / 柜，相比传统风冷机柜能效比（PUE）降低 18%，年节电超 10 万度
无风扇设计让机房噪音从 85 分贝降至 45 分贝，满足企业级机房的环保要求
3. 开放兼容生态：拒绝 “算力孤岛”
AL128 的核心竞争力，在于打破了硬件厂商的壁垒：
支持 NVIDIA H100、AMD MI300 等主流 GPU，以及第三方存储、网络设备
开放硬件接口协议，联合产业链伙伴在液冷模块、供电系统等环节共建标准
与阿里云飞天智算平台深度协同，实现 “硬件 + 软件” 的全栈优化，千卡并行效率突破 90%
三、实测性能震撼：推理效率暴涨 19%-32%
技术创新的最终价值，体现在实打实的性能提升上。阿里云在 LLM 推理解码阶段的实测数据显示：
128 卡集群运行 GPT-4 级大模型，推理吞吐量提升 32%，单 Token 生成延迟降低 27%
运行 MoE 架构模型时，跨节点通信效率提升 40%，专家层调度响应速度提升 50%
7×24 小时连续运行稳定性达 99.99%，无一次因散热或通信故障导致降频
阿里云并未将 AL128 打造成 “封闭产品”，而是联合产业链上下游开启 “开放创新计划”。
硬件层面：与液冷设备厂商共建标准化冷板模块，供电厂商优化高密度供电方案
软件层面：开放 API 接口，支持第三方 AI 框架与调度系统接入
行业层面：针对自动驾驶、新药研发、气象预测等场景，推出定制化超节点解决方案
这种开放模式正在显现成效。南方电网采用 AL128 超节点后，电力负荷预测模型的准确率提升 3%，每年可减少电网损耗超 1 亿元；深势科技借助 AL128 的算力支撑，新药研发周期缩短 40%。
四、未来趋势：AI 基础设施进入 “架构决胜” 时代
AL128 的发布，标志着 AI 算力竞争从 “芯片比拼” 进入 “架构决胜” 的新阶段。随着 B200 等新一代 GPU 的发布，芯片性能仍将快速迭代，但架构的优化空间更为巨大。
