• 正文
  • 相关推荐
申请入驻 产业图谱

复盘精华:光模块全链路避坑指南,这90%的坑我们替你踩过了

09/04 15:14
344
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

近日,CDCC举办「深度拆解光模块技术核心和选型避坑」主题直播。CDCC专家技术组委员、中国移动通信集团设计院有限公司咨询设计总监封铎、Aginode安捷诺亚太及中东地区产品总监王君原、新华三集团数据中心交换机架构师覃耿、福禄克业务发展经理李淑洁,四位行业专家同台分享。

从产品制造、工程设计、现场施工、测试验收多维度,围绕光模块行业现状、技术迭代、技术路线博弈、落地选型痛点、产业应用态势以及未来演进趋势展开深度研讨。

本文为直播的Q&A实战答疑与精彩观点汇总,帮大家避开光模块全链路绝大多数工程坑。

想要观看直播完整内容,可前往CDCC数据中心视频号,查看8月20日直播回放。

Q1& A

智算中心里,铜缆的用量会大幅缩小吗?机柜内的短距离连接,铜不是更有优势吗?

封铎:整体来看,铜缆整体用量会下降,但不会完全消失。服务器 IPMI、网络设备带外管理属于设备原生主板电口,作为独立于业务、存储的带外通道,这部分会持续保留铜缆需求。

而DAC、有源高速铜缆发展前景有限,受传输距离制约,仅可用于机柜内部2-3米范围,不能跨机柜部署。此前超节点机柜内部还曾考虑使用400G铜缆互联,但现在超节点大多采用正交架构,交换板与计算板之间直接依靠PCB板差分信号完成互联,不再使用外部铜缆,智算场景下高速铜缆的应用空间进一步收缩。

早期看好高速铜缆,出发点是省去光电、电光转换,实现节能,也就是所谓 “铜进光退”,但这套方案已经无法满足超高速传输要求,光模块使用规模会持续增长,铜缆无法替代光模块。

除此之外,工程实践中,光模块与布线对接的APC(8°斜角研磨端面)适配问题,现在也变得愈发突出。某超节点项目遇到的实际故障:项目中相邻机房之间通过ODF对接,出现链路异常。事后分析判断问题根源为APC端面不匹配,光缆成端端面规格和对端不一致,引发回波损耗过大、信号干扰严重,信号完整性受损,接收侧工作异常,更换这一段光缆之后故障才得以解决。

Q2& A

APC的光模块,端头上用的颜色还不太一样,这个是写入标准了还是说是一个业界的共识,现在是一个什么程度?

王君原:MPO端面APC的标准变化:400G之前,行业惯例是单模MPO默认APC、接头为绿色;多模MPO默认PC,接头为水蓝色,依靠接头颜色就可以区分,不会出现混用问题。

400G尤其是800G之后,出现了多模APC产品,情况开始分化。单模依旧沿用APC,而多模同时存在PC与APC两种端面。此前ISO布线标准仅区分PC、APC两类端面,默认对应单模APC、多模PC,并未考虑多模APC的场景。两年前的ISO国际会议上,国内就提出400G以上场景需要纳入多模APC的相关规范,也带来识别区分的现实难题。

早期业界仍沿用旧习惯,依靠接头颜色区分单多模,即便多模采用APC端面,OM3、OM4依旧使用水绿色接头,容易和单模APC产生混淆。目前行业逐步形成共识:用绿色接头统一标识APC端面,不过该规则尚未正式写入标准。他在标准会议上多次呼吁连接器厂商协同,把这部分缺失定义补充进标准。未来会看到:多模MPO跳线外皮依旧是水绿色、玫红色等OM4固有配色,但接头如果是绿色,则代表它为APC端面,该做法近两年正在被越来越多厂商接纳。

Q3& A

从配置层面的考量,现在多模光模块大多会明确标注APC,但单模光模块却很少标注是否为APC端面。APC端面规格到底由哪一方来确定?

覃耿:我手中的这个是一个800G的光模块,这根线里面的端面是个斜面。为什么会有斜面?主要还是因为高速的光模块到了112G之后,如果是平的,它反射的损耗会更大,400G、800G、1.6T光模块,MPO接口大多采用APC斜面端面,目的是降低反射损耗。

李淑洁:从行业规范层面,单模MPO建议使用APC端面。传统多模以UPC为主,智算中心多模也逐步转向APC,用来减少光反射。反射的光信号是光纤链路里最大的干扰,因此光反射问题会导致误码产生,严重情况下会损坏光模块。

王君原:目前行业形成一个共识,MPO连接器中,APC端面尾套为绿色;PC/UPC多模尾套为水蓝色。该区分更多属于业界通用惯例,尚未全部写入标准,后续标准有望统一完善。

这里澄清一组概念:400G、800G、1.6T是光模块端口总速率;56G、112G、224G是单通道速率。举例:4路112G组成400G,8路112G组成800G。当单通道到112G,链路对回波损耗的管控要求大幅提升,因此MPO需要APC端面;而LC接口目前主流还是PC端面为主,主要原因是波分复用方案对反射敏感度相对更低。

Q4& A

224G这种高速光模块,对端面清洁要求是不是比低速率严苛很多?

覃耿:两款1.6T光模块,为224G×8通道规格。两款产品分别为OSFPIHS、OSFPRHS封装,厚度结构不同;IHS型号自带风冷散热器,适配风冷交换机,RHS适配冷板液冷交换机。二者内部PCB、DSP等器件、电气接口完全一致,同属DR8规格,液冷交换机上的RHS模块可以和风冷交换机上的IHS模块互通通信。

1.6TDR8光模块存在两种MPO物理接口形态:一种是单口16芯;另一种为双口DMPO接头(接头本体共12芯,实际只使用其中8芯,剩余4芯空置),选型过程中需要重点留意该接口差异。

Q5& A

面对两种OSFP1.6T光模块,一种IHS自带风冷散热器,另一种RHS依靠交换机侧冷板液冷散热,选型上有哪些考量?

封铎:光模块属于网络核心易损件,故障大多来自激光器高温老化。400G光模块功耗已经十几瓦,速率越高发热越大。风冷散热存在性能上限。到3.2T级别,液冷大概率成为必选项。液冷可以延长光模块寿命,但实际工程上还有很多需要待解决和克服的问题:大量分散光模块做液冷对接,漏液风险随规模上升,不管单模块冷板还是整机冷板,行业整体态度保持谨慎乐观。

覃耿:从现有能力看,当前液冷方案可支撑单模块约32W功耗;展望下一代,1.6TZR、3.2T光模块功耗预计会达到4060W,到那个阶段风冷将无法满足散热需求。另外补充:IHS、RHS二者内部PCB、DSP器件、电气接口完全一致,只是散热结构不同,光口可以互通;但是笼座不能混插,必须和交换机散热架构严格匹配,不能混用。

Q6& A

类似高速光模块,对这种端面清洁的要求是不是比低速率更严苛?

李淑洁:从规范角度,高速场景对端面清洁要求更高,本质是对光纤链路里的干扰容忍度低,因此对光反射即回波损耗指标更严格,脏污的端面是导致光纤链路反射问题的主要因素。现在规范中特别强调光纤端面查看和清洁的正确操作流程:先检查端面,确有需要再做清洁,清洁完成后通过光纤显微镜查看确认洁净才可投入使用。整套操作实际只需要几秒钟,关键是要养成规范习惯。

过去大量使用低速链路,对端面要求不高,现场人员形成了一些不良操作习惯。防尘盖应当及时复位,但施工现场经常见到防尘盖随意丢弃,很多安装人员并非最终使用方,对器件的风险认知不足。

所以我们对运维操作建议先用显微镜检查端面,必要时清洁,清洁完成再复核;防尘帽及时复位。单模纤芯仅9微米,微小灰尘就会遮挡信号,反射会加速激光器损坏。项目开通初期误码故障高发,大多来自施工污染;系统稳定运行后机房环境改善,故障概率降低。现场除灰尘之外,酒精擦拭残留水汽形成间隙、工作温度变化带来波长偏移,都会带来衰减波动,因此要采用合规的清洁方式和产品。

纤链路会出故障,误码率高或者是前面说的,因为本身激光器就容易因为受热损坏,这个反射强有灰尘也会导致前面的激光器容易损坏,这就是光模块易损的一个主要的原因!

数据中心刚完成安装、投入初期正是误码故障高发期,施工阶段灰尘污染难以完全避免,现场施工人员也没有充足时间逐一检查端面。前期集中处置完大部分故障后,机房投入运行后整体环境会有所改善,后续端面被污染的概率会随之下降,零散故障也会变少。

王君原:工程现场除灰尘之外容易被忽视的问题。现场工人除使用专业清洁笔之外,还会采用酒精、纯水等简易方式清洁光纤端面;即便是使用酒精擦拭,擦拭完成经过插拔使用后,也有可能带来衰减变化:擦拭残留的水汽挥发后,接头之间会产生微小间隙,进而造成链路衰减异常。这类细微问题,在100G及以下速率基本不会显现,但在400G、800G这类高敏感高速传输场景下就会暴露出来。

除此之外,光模块工作时会发热升温,温度变化会造成光模块波长发生小幅偏移,同样会对传输性能带来影响。

覃耿:为保障光模块的可靠性,项目施工前一般会做测试,对BER(误码率)指标提出要求,通常需要达到10⁻⁹、10⁻¹⁰、10⁻¹¹量级。早期标准误码率要求为10⁻⁴,后续收紧到10⁻⁶;设备厂商为保障光模块质量,会进一步抬高指标门槛,开展加严筛选测试,提前剔除劣质器件。

新华三在引入光模块时就执行这类加严筛选,相当于提前完成一轮筛选,以此降低光模块后续现场运行阶段的故障概率。

Q7& A

智算现场单多模的距离分界线是多少米?

封铎:通常光模块FR4标称2km、LR4标称10km,SR4/SR8搭配OM4多模光纤标称100米,但是光模块标注的传输距离不是绝对固定值。实际可传输距离受光纤本身品质,以及链路中间对接、成端次数影响。

很多人存在误区,认为选用2km规格的FR4光模块,2km以内就一定可以正常工作。一旦链路中间经过ODF成端、多次对接,会叠加额外损耗,实际可用传输距离就会缩水。虽然光模块留有一定功率余量,部分施工较差的现场依旧可以跑通2km,但这不属于常态;标称距离是整条链路无额外中间对接的理想条件下的指标。

因此工程选型时参考光模块标称传输距离,必须同时评估链路的对接次数与整体链路质量。

Q8& A

CPO架构链路分为两段,一段是芯片光引擎的内部集成链路,另一段是光引擎向外引出、经过ODF等外部对接的外部链路。目前行业测试大多只针对外部链路;对于CPO封装内部这一段链路,当前有没有测试手段可以评估、判定它的质量?

覃耿:先对CPO可维护性问题补充澄清:CPO方案已经做了一部分可靠性优化。当下这类硅光CPO,激光器光源并不集成在共封装基板内部,封装内部只有Driver、TIA这类电器件;激光器光源是外部引入,光源本身是可插拔形态。

光模块失效的主要来源就是激光器,CPO把激光器外置可插拔之后,这部分最易损部件可以单独更换,故障风险和传统光模块已经不在同一个量级,封装内部剩余器件采用CMOS工艺,可靠性更高。针对封铎提出的内部链路测试问题:外置光源输入光、器件对外输出光均可以开展测试,相关测试会在生产阶段完成。

也就是CPO本体并不直接和外部传输光纤对接,中间还有一层可插拔装置。它的光源连续光cwlaser是在外面。两类主流CPO方案:

硅光CPO:采用外置CW连续激光器,英伟达采用硅光外置光源路线。

VCSEL方案CPO:激光器内置进共封装基板,功耗更低,但一旦光源损坏,故障影响范围更大。激光器外置虽然便于更换,但激光器要布置到设备边缘,会增加中间连接点位。新增对接点,随之也会引入端面反射的工程风险。

Q9& A

CPO对保偏光纤使用量和使用领域是什么?

覃耿:外置CW连续激光器通过保偏光纤接入CPO器件,完成耦合后再对外输出光信号。设计上尽量避免中间增加法兰跳接,法兰会带来链路损耗;但交换机内部光纤数量庞大,若未采用波分复用,内部走线复杂,部分预制光组件场景下,中间的可插拔跳接无法完全规避。

李淑洁:高速光纤场景下法兰带来的损耗尚可接受,更大风险来自不可控的反射,相比损耗,反射更容易引发网络故障,需要保障端面洁净来降低反射,另外是选用斜面(APC)端面接头降低反射影响。

Q10& A

会不会做蛇形打流测试?

李淑洁:国内工程验收测试的现实现状:很难做到对每一条链路都逐一查看光纤端面。CPO这类器件相关的检测,属于产品级测试,基本不会在工程现场开展,更多的是在产品选型、仿真测试试阶段,该阶段会做完整细致的测试,用来筛选合格入围器件和技术方案,完成质量把关,但这套测试并不会复制到实际机房施工验收环节。

覃耿:蛇形全端口打流,主要用于研发、生产、选型预验证,不在大规模工程验收现场执行。测试需要跑满全部端口,验证背板交换能力,一般多用于故障定位。

Q11& A

要支持LPO,是芯片本身硬件原生具备能力,还是后期额外开发即可实现?为什么有的芯片厂商可以支持,有的不支持?

覃耿:首先要区分LPO与LRO两个技术概念:

LPO:发送、接收两侧全部去掉DSP芯片;LRO:仅移除接收侧DSP,发送侧仍然保留DSP。去掉接收侧DSP之后,信号补偿、信号恢复工作全部交由交换芯片/GPU芯片的接收端均衡电路完成,对芯片性能要求极高。需要依靠芯片多阶信号补偿能力修复劣化的眼图,再配合FEC纠错实现可靠传输。

对于一款25.6T/51.2T交换芯片,厂商不会轻易宣称支持LPO。芯片会先完成Demo样机验证,测算可插拔光模块占用空间、PCB高速走线长度,评估完整端到端信号链路余量。如果整体链路余量不足以跑通LPO,就不会对外宣称支持。

行业的通用标准是:宣称支持LPO,则交换机全部端口都要支持该能力,不会出现一台64口交换机,仅部分端口支持LPO、其余端口使用带DSP光模块的混合使用方案。要实现整机所有端口支持LPO,既考验交换芯片本身硬件能力,同时对交换机整机PCB设计、布线也提出很高要求,实现难度很大。

Q12& A

线接错了烧模块吗?

封铎:光纤接线接错,理论上不会烧毁光模块,但会直接导致链路不通;单纯接错光纤通路一般不会烧毁光模块,但需要警惕APC、UPC接头混用的风险。APC接头端面为斜面,UPC是平面端面,二者不可以混插对接。混插不会造成光模块烧毁,但斜面接头容易划伤光模块内部光学端面,造成器件物理损伤,引发故障,施工时需要注意规避。

Q13& A

光模块有时延、抖动这一说嘛?抖动这个指标,在实际机房现场是否开展测试?抖动该如何做指标表征,有没有可行的现场测试手段?

李淑洁:信号的眼图、抖动问题,无论光域还是电域传输都会存在。眼图评估中抖动是关键指标,抖动指标劣化,就无法得到合格的眼图。

一般是在现场测试,大多从网络层面通过打流测试.得到吞吐量、时延相关抖动数据。但算力中心这类大带宽场景,抖动相关的底层光学、信号层面测试一般不会放在工程现场实施;现场打流测试成本很高,抖动指标的相关验证主要放在器件选型阶段完成。

覃耿:抖动测试大多用于故障定位排障场景,出现问题时才会携带光示波器到现场检测。工程验收阶段连SerDes相关测试都无法开展,抖动测试更不会作为常规验收项。

比如重大关键项目,才会在设备上线前搭建预验证环境,完成包含抖动在内的全套稳定性验证,用来确认入网设备性能。不会在正式机房工程现场,对全部设备批量开展抖动测试。

Q14& A

从综合布线角度看,CPO、LRO、LPO这类新技术表面看似乎对布线系统没有带来变化,但深入分析,是否会对布线行业产生实际影响?

王君原:针对LPO、LRO会对综合布线提出更高要求。带DSP的光模块具备信号纠错补偿能力,可以修复传输过程中发生畸变的信号;去掉DSP之后,信号补偿压力转移,系统是建立在链路本身质量足够可靠的前提之上,信道余量被压缩,对布线系统的整体要求显著提高。

在56G、25G时代,部分MPO跳线哪怕回波损耗指标一般,依然可以勉强跑通业务;但切换至LPO/LRO架构后,链路余量紧张,轻微的链路缺陷就容易引发故障。

多模场景下变化尤为明显:以往短距离可以使用OM3,中长距离使用OM4;而应用LPO/LRO时,厂商普遍建议直接选用OM4,不再推荐OM3,OM4在850nm波段可以提供更大带宽余量。

LPO/LRO时代,不能再满足于“插上能通”,需要选用性能等级更高的光纤,同时对MPO等接头的端面质量、对接工艺的标准要求相比以往更加严苛。

声明:以上观点仅代表专家个人观点。

相关推荐