芯耀
与非AI
280
现阶段AI算力最看重什么
过去十年间，算力机组比拼的就是算力，AI芯片的“军备竞赛”只有一个指标TOPS，而如今在超大规模训练集群和推理集群的设计里，最核心最卡行业脖子的是“有效算力”而非“理论峰值算力”。有效算力的封顶值，也不再是算力集群中单颗GPU的MAC有多宽，而是两颗芯片之间、一个机柜之内、机组与机组之间，数据能够以多低的延迟、多高的带宽和多低功耗完成一个任务，分秒必争在此刻无比的具象化了。
而引起AI算力如此大的变化就是AI工作的负载发生了变化，Dr. Matthew指出在训练侧单一模型的参数规模还在涨，但更关键的是推理侧出现了agent模式和多模态推理，不是一次query跑一次模型，而是持续在后台推理，多次调用模型、反复验证结果。蒸馏技术又把大模型的能力压缩进小模型，塞到手机、笔电等边缘端，导致推理总量指数级放大。同时用户需求侧，也把生成式AI从原先“好玩的工具”变成了能真正提高生产力的工具，CodeX、Claude这类工具真的能帮助用户和企业完成一定的工作。
于是整个后端的算力集群不但要吞吐更大量的数据，还要在内部做远比以前更频繁的all-to-all通信。整个业界在大型算力集群上讨论网路时，通常会聚焦于机柜对外的Scale-out网络，也就是把数据喂进机柜的那一层以太网，因为以前是以用户增量为核心，外部海量但是相对简单的访问需求需要规模庞大的Scale-out网络；但现在真正的压力点转移到了机柜内部的Scale-up网络，万卡互联的超大规模集群需要把成千上万颗算力芯片紧密连成一台“巨型计算机”，而这就需要Scale-up网络。Dr. Matthew也着重强调了一个非常有用的信息：Scale-up所需的总带宽，比Scale-out大了将近一个数量级。
这意味着系统设计者不再只看单颗GPU的纸面算力，而是把评估重心移到单位 shoreline带宽密度（Shoreline带宽密度，指的是沿着芯片边缘每毫米能推出多少Tbps的互连带宽）和每比特能耗上。这两个核心参数决定一个算力集群能不能线性扩展。既然互联起决定性作用，那么Scale-up规模扩张速度远超铜缆电信号能承载的极限，所以就得用光，过去这层Scale-up用铜缆可以搞得定，但是现在用光才能勉强维持。
最需要硅光子的是Scale-up
Dr. Matthew也顺着逻辑，讲述了NVIDIA的NVLink铜背板和Google TPU的ICI，基本都在几米距离内用差分对铜缆解决，铜缆的确在短距离里还是可以使用，但是当速率提升时，从400G来到800G，铜缆已经完全不够用了。在互联网络的历史上，电信号和光信号的分界线大致在100 Gbps x m(通用的一个物理约束条件是：带宽×距离)，一旦单通道的速率达到112 Gbps、224 Gbps，即使只有短短一两米，铜缆的损耗、串扰、反射已经到了非上retimer不可的程度，每加一级retimer，就多出一份功耗、芯片面积和成本。尤其是Scale-up总线需要几百条甚至上千条链路时，retimer的功耗直接占到近百分之二十。一点数据都没算，天然砍掉了一大块电力效力，任谁都会觉得划不来。
另一方面，铜缆密度可不轻，对于高密度背板的机械抗拉和散热也是不小的挑战，这也是为何NVIDIA在从Hopper到Blackwell的迭代中，GB200 NVL72虽然仍用铜缆实现机柜内连接，却已经到了铜的极限边缘。业界普遍的认知是，再往上一级的NVL576或同等规模的集群，机柜间或柜内更长距离的Scale-up必须走光通路。
Dr. Matthew把光互联描述成一个阶梯，每爬升一级，光路就离ASIC芯片更近一步。先说可插拔光模块，目前是Scale-out的主流，但在Scale-up场景里，沿用可插拔方案会碰到致命问题：电通道太长了，可拔插光模块需要安装在机组的前置面板上，ASIC把高速信号一路连到面板处，电信号的距离太远，这条路径损耗和功耗极大，还是需要retimer来整合后转化为光信号。
板载光学（onboard optics）或者叫做NPO（近光学封装）则是更进一步，把光引擎从前面板转移到载板上缩短电通道距离，这个代价也是巨大的，可维护性极差，不能在想光模块那样哪块坏了换哪块了，所以可靠性必须过关才行。但是好处也同样明显，缩短通道降低延迟和能耗。
更加彻底的就是共封装光学（CPO Co-Packaged Optics）直接把光电转换的光引擎封装到ASIC旁边（甚至是上下堆叠），电信号只用走几个mm，在这种紧耦合形态下，Scale-up互连功耗可以做到很低的水准。TSMC在之前介绍自家COUPE平台也对比了6.4Tbps的 OE（Optical Engine）CPO方案功耗降了50%，后续还将开发CPO with XPU的方案功耗仅为光模块方案的十分之一，延迟更是做到了二十分之一。当然Dr. Matthew也反复强调说，不要只看芯片本身的pJ/bit，必须把激光源、驱动器、跨阻放大器、加热器、散热等全部算进去，做ASIC to ASIC的全链路比较。以单通道200Gbps为例，铜缆互联方案大约每米要消耗掉200mW，而CPO封装将光引擎封到ASIC周围，其损耗就不到100mW，再乘以整套系统的230PB/s的总带宽，节省下来的功耗将非常惊人。
业界为何非硅光子不可
那么光互连为什么非要靠硅光子？业界又不是只有硅光子一种方案，磷化铟、薄膜铌酸锂、VCSEL、甚至microLED都从实验室走到了产业的台前。这就要回到Scale-up的应用场景来看，在极小的面积区域封装进高密度的调制和收发通道布线，功耗要低，所有光路要波分复用来扩展带宽，彼此间还不能有大的材料和工艺误差，并且还要可量产化，硅光子真的是最合适的技术路线了。
Dr. Matthew还分享了AMD最新披露的微环调制器光学Chiplet方案，chiplet在电芯片方案已经十分成熟，光学Chiplet还是比较少的，AMD的方案是将滤光、信号侦测、调制器等元件封装在一个硅光子芯片上，而微环调制器天生对于CMOS兼容的硅光工艺极其友好，通常半径不过5~10微米，通过一条bus波导就可以选择性的调制特定的波长信号，非常契合波分复用，而同一条波导线可以串联放置多个微环，每个环对应一个波长，天然构成发射端的多波长合波与接收端的解复用。而传统的马赫-曾德尔调制器要做到相近调制带宽和消光比，长度往往是毫米量级。所以AMD在一个不到10平方毫米的硅光芯片上做出6组、每组16个波长、总96通道的收发器也只能选择微环这种结构。
另一方面能效部分，微环可以看做是个电容器，电容在几十fF量级，驱动所需的能量远小于行波MZM的几十欧姆传输线或pF级别集总元件。再加上硅光子可以和CMOS电路混合集成，把驱动器和跨阻放大器直接贴在光子芯片下方或上方，寄生参数减小，动态功耗进一步降低。AMD这颗光学Chiplet采用纯NRZ开关键控，单通道50Gbps，在不采用前向纠错误码率就极低（10^-12），端到端的能耗已经做到了远低于5 pJ/bit的可量产参考线。与之相比VCSEL方案对于密集波分复用很不友好，单纤带宽密度难以和硅光抗衡，且难以向几十米到一百米距离扩展；而薄膜铌酸锂性能虽强，但大规模多通道阵列的量产和CMOS整合成熟度仍旧是实验室级别产物，距离目前的硅光子还有较大差距；InP平台则面临大面积集成时良率与散热的双重压力，但是现在业界也在重点发力InP材料。总而言之，真正决定方案生死的是系统层级的取舍，封装、可靠性、热机械强度、成本和良率最终要找到一个完美平衡点。
但是硅光子也不是完美的，硅的热光系数大，温度一变，折射率就漂，微环谐振峰跟着跑，所以每个微环旁都得放微型加热器和控制电路做闭环补偿，AMD在这块做得十分领先，实测表明，在刻意施加大幅温度斜率的环境下，温控器也能即时响应锁定波长，确保误码率不会变化。CPO封装中光引擎离ASIC非常近，算力芯片工作时会放出大量的热，温控补偿器在微环旁边非常重要。当然业界还有一个方案是采用玻璃基板，利用其低热膨胀系数和较好光学特性来稳定对准、隔离热量替代硅材，但是工程化尚需时日。
最后现场的QA环节同样干货满满，光源外置还是整合？一直是业界交锋的热点话题，AMD给出的答案是先走外置光源，长时间满载负荷的光源外置就等于方便更换。可维护性高了就有巨大的成本优势，但是业界还是在往异质集成硅片出光方向走，竞争对手Intel目前发表的论文中提到异质集成的光源可靠性不错，量产良率和多波长光源阵列将是一道坎。
结语
业界现阶段不是“选择硅光子”，而是“必须用硅光子”。因为它几乎是唯一能在毫米级芯片封装如此多功能的同时，还具备量产、良率和成本的技术平台。AMD这颗光学Chiplet等于是给全行业划了一条基准线：硅光子这条路，不再是实验室的奇迹，而是可量产的工程现实。
文中插图为生成式AI生成
参考：《AMD's Streshinsky discusses silicon photonics: The scale-up bandwidth for AI server racks can ultimately only be provided by optics.》
#深芯盟 #湾芯展 #半导体产业研究 #CPO #AMD
