为什么大模型能效的尽头是“通信与存储”？

在大模型技术爆发的初期，行业存在一个直觉式的共识：AI的性能取决于单芯片算力的堆叠。然而，随着模型参数迈向千亿甚至万亿级别，单一的“算力崇拜”正在面临严重的边际效应递减。

当单块芯片无法容纳完整模型、必须仰赖超大规模AI集群进行分布式推理与训练时，制约集群效能的木桶短板，悄然转移到了数据流转效率上。

在大模型的生命周期中，数据的流转对时延极度敏感。在训练阶段，网络需要提供All-Reduce、All-to-All等高频集合通信来同步多节点间的梯度数据。这种通信是严格同步的，任何一块算力卡或一张网络卡的轻微抖动或时延增加，都会让整个集群陷入停顿等待，直接拉低整体模型计算利用率（MFU）。

而在推理阶段，为了节省计算资源，行业普遍采用“以存代算”的策略，将中间生成的 KV Cache 暂存以供后续复用。这将推理割裂为Prefill（预填充）与Decode（解码）两个阶段。在Prefill-Decode分离架构下，海量的KV Cache数据需要在不同节点间横跨网络高频传递。上下文越长，数据量越大，网络通信就越容易成为锁死首字时延（TTFT）与吞吐量（TPOT）的致命瓶颈。

对此，在近期中科曙光 scaleFabric Token 加速技术体系的媒体沟通会上，中科曙光高速网络互联产品部总工程师万伟指出：算力、网络和存储三者之间的数据流转效率，才是决定 AI Factory 效能与经济效益的真正命脉。

从数据面到控制面，IBGDA 技术的核心逻辑

为了解决这个瓶颈，芯片与网络之间的通信架构经历了两代技术演进。

最早的优化手段是传统的GPUDirect RDMA（GDR）技术，它解放了数据面，允许网卡直接读取GPU显存，绕过了传统路径中需要CPU内存中转的步骤。然而，GDR依然存在局限性，因为通信任务的下发和元数据处理依然需要听从CPU的调度与指挥，这在极致低时延场景下成为了新的开销。

为了把时延压到极致，InfiniBand GPUDirect Async（IBGDA）等异步GDR技术应运而生。这项技术的核心逻辑是优化控制面，实现全面去CPU化。它将通信控制与数据处理全部交由GPU承载，让GPU Kernel能够直接驱动网卡。这种全面去CPU化的架构，成为了当前主流MoE（混合专家模型）架构的关键催化剂。

万伟指出，scaleFabric已规模化落地IBGDA技术。以DeepSeek等模型为代表的MoE架构在运行中会产生密集、高频且并发的小消息通信。异步GDR恰好切中这一痛点，通过消除CPU调度开销，大幅压低小消息通信时延，这在长文本对话、检索增强（RAG）等高频调用场景中，能为集群带来显著的整体性能提升。

据了解，这也是IBGDA技术在国内首次实现规模化落地。

万伟强调，当前scaleFabric已完成了与DeepEP等专家并行通信架构的底层适配。对上层应用而言，这一能力完全无感，在保持现有代码结构的前提下，大幅提升了多卡互连效率。

 “以存代算”的落地，依赖紧密耦合的存储通道

除了控制面的变革，要实现全流程的加速，还必须将网络与存储深度耦合。在实际的AI业务场景中，不同类型的数据流转需要不同的存储协议来协同配合，从而共同构建出存储加速通道。

为了在计算节点与存储源之间构建“最短路径”，scaleFabric构建了三维一体的存储直通技术体系，实现了底层I/O的旁路设计：

• scaleFabric支持NFS over RDMA：面向文件存储协议。scaleFabric的RDMA网卡（RNIC）直接将数据从存储节点的内存传输到计算节点的内存，全程实现内核旁路（Kernel Bypass）与零拷贝。在AI训练频繁加载海量数据集的场景中，传统NFS over TCP/IP容易成为I/O瓶颈，而采用NFS over scaleFabric后，数据从存储到GPU内存的路径被彻底重构，实践表明可将GPU利用率从约55%提升至95%以上，单轮训练时间缩减30%-60%。
• scaleFabric支持NVMe over RDMA：主要面向存储解耦与热数据缓存（如 KV Cache 块数据访问）。scaleFabric将本地NVMe SSD的PCIe高性能通信模型映射到远端RDMA网络上，减少协议转换开销，使远端存储访问延迟降低80%以上，从而显著缩短首Token时延（TTFT）。
• scaleFabric全面支持XDS (XPU Direct Storage)：技术路线对标英伟达的GDS（GPUDirect Storage）。它允许加速处理器（如 GPU、DCU）绕过主机CPU和系统内存，数据经由scaleFabric数据通道直接写入XPU显存。这重构了TB至PB级数据加载与KV Cache卸载时的I/O链路，避免了多次内存拷贝带来的CPU性能损耗。

值得一提的是，这三项技术在底层紧密耦合，才能共同解决AI集群中计算节点与存储数据源之间的高效对接问题。而在这一切的底层，必须依赖严格无损的网络协议。

如何攻克大规模 CLOS 组网的多跳延迟累积？

在大规模（如万卡、十万卡）智算集群中，网络架构通常采用两层CLOS拓扑。一个数据包从源GPU发出到目标GPU，通常需要经历Leaf（接入交换机）→ Spine（汇聚交换机）→ Leaf（接入交换机）共三跳转发。在超大规模分布式计算中，每一次跳跃带来的时延累积非常可观，网络通信耗时往往会占据整个计算任务时间的30%到50%。

万伟指出，针对大规模组网下的多跳延迟与拥塞控制，scaleFabric 展现出了硬核的拓扑优化指标：

• 物理时延对标：scaleFabric基于严格无损的网络协议，实现了单跳转发时延260ns、网卡端到端时延＜1μs。在纯物理性能指标上，已经达到了与英伟达NDR持平的国际一流水准。
• 多跳大消息优化：在跨越Leaf-Spine-Leaf的三跳转发路径下，当传输4k以上的大消息报文（如长上下文中的KV Cache数据）时，scaleFabric展现出更平缓的时延增长曲线。实测在部分场景下，其三跳时延较传统的主流RoCE方案降低了约63%，这为大规模PD分离推理提供了稳定的传输基础。
• 免除PFC依赖：传统 RoCE 网络高度依赖 PFC（优先级流量控制）来实现近似无损，但在超大规模集群中，PFC极易引发死锁和拥塞蔓延。scaleFabric在大规模组网时无需依赖PFC即可实现原生无损，避免了扩展时的性能损失。

关于scaleFabric的下一代规划，万伟透露，针对未来十万卡、百万卡集群，中科曙光将在保持现有链路故障路由快速恢复优势的同时，将推出800G网络产品和网卡，并全面支持多平面设计、包喷洒（Packet Spraying）与乱序重组（Out-of-Order Reorder）能力，以应对全局稳定性与长尾时延挑战。

写在最后

当前，加速芯片在单卡算力上与国际顶尖产品仍存在客观差距。在这种产业背景下，仅仅依靠提升单卡指标的单打独斗已难以突围。通过系统级创新、重构“算-存-传”的紧耦合链路，来提升整个集群的通信效率与硬件利用率，是智算基础设施自主迭代的必然工程路径。

中科曙光通过scaleFabric将IBGDA控制面下沉至GPU、部署三维一体的存储直通通路，以及优化多跳CLOS网络的转发延迟，正在逐步解开主机CPU对加速芯片的性能枷锁。这项系统级的重构尝试，不仅为MoE和PD分离等复杂大模型提供了一个高互连效率的网络与存储底座，也为如何最大化将硬件算力转化为实际Token产出率，给出了硬核的工程解答。