这几年在数据中心机房泡久了,一个很明显的感觉是:25G链路正在大范围让位给50G。表面上看就是速率翻倍,但把设备拆开、把信号比特抓出来看,会发现底层机制完全换了——NRZ变成了PAM4。对做网络维护和硬件选型的人来说,这是一套需要重新学的“新语言”:以前一台误码仪、一只眼图就能说清楚链路好还是不好,现在得看三只眼、看FEC统计、看DSP均衡后的曲线;以前觉得FEC是个“更保险”的选项,现在没有FEC链路根本跑不稳。
这篇文章我打算把50G以太网里最硬核的部分讲透:PAM4信号到底是怎样工作的,它对信道和器件提出了哪些苛刻要求,数据中心里从交换芯片、光模块到机柜连线该怎么搭,实测时眼图和误码率怎么判读,以及我在现场踩过的一些坑。适合正在把服务器接入网从25G往50G升级的网络工程师,也适合做硬件、信号完整性、光模块选型的研发同学。
1. 为什么50G以太网必须用PAM4:信号机制与代价
1.1 25G NRZ撞上的带宽墙
25G NRZ时代,符号速率是25.78125Gbd,要传好这种信号,通道的有效带宽得撑到30GHz附近。在PCB背板上,这意味着FR4板材的介质损耗已经逼近极限,设计人员只能叠更贵的板材、缩走线长度、加强发射端预加重。连接器厂商为了推新一代高速连接器,几乎是把公差和镀层指标榨到了工艺极限。
如果照这个思路把单lane速率直接做到50G,符号速率就得翻倍到51.6Gbd左右,有效带宽要推到50GHz以上。这个要求对板材、连接器、封装、光模块内部的光器件和驱动电路全部是灾难级的,成本会失控,功耗也会失控。工程上不会这么硬来。于是PAM4成为更现实的解——它不把符号速率翻倍,而是让每个符号“多装一点信息”。这是整个50G以太网技术演进的第一推动力。
1.2 PAM4的底层机制:四个电平、三只眼
PAM4全称是Pulse Amplitude Modulation with 4 levels,4级脉冲幅度调制。NRZ用0和1两个电平,一个符号传1个bit;PAM4把电压摆幅均匀切成4段,用00、01、11、10四种组合对应四个电平,一个符号传2个bit。电平映射顺序用格雷码,相邻电平只差一个bit,即使判决噪声把一个电平误判到相邻电平,也只错1个bit而不是2个,这是PAM4在编码上自带的一层保护。
具体到50G/lane这条链路,经过64B/66B编码加上RS族前向纠错后,线路速率落在53.125Gbps附近。PAM4一个符号传2个bit,所以符号率只需要26.5625GBd。对比来看,25G NRZ的符号率是25.78125GBd,而50G PAM4的符号率只有26.5625GBd。等于说,速率翻倍了,符号率几乎没有涨,信道带宽需求自然也锁在原来那个量级。这是PAM4能在现有板材、连接器、光器件上落地的根本原因。
| 对比项 | 25G/lane NRZ | 50G/lane PAM4 |
|---|---|---|
| 符号率 | 25.78125 GBd | 26.5625 GBd |
| 每符号比特数 | 1 | 2 |
| 线路比特率 | 约25.78 Gbps | 约53.125 Gbps |
| 端口有效速率 | 25G | 50G |
| 噪声容忍度 | 高 | 约低9.5dB |
1.3 信号革命背后的代价:9.5dB的“隐形税收”
PAM4不是白给的。电压摆幅整体还是从0到1,原来NRZ只有上下两个电平,电平间距是1;现在四个电平均匀分布,相邻电平间距只剩1/3。对噪声的容忍度直接缩水,换算成信噪比就是20lg(3)约等于9.5dB的损失。换句话说,同一条物理链路,用PAM4之后的“抗噪余量”天生比NRZ少9.5dB。
这9.5dB带来的影响非常具体:反射系数稍微大一点、连接器端面脏一点、光模块的散光功率差一点,在25G NRZ下可能根本看不出来,在50G PAM4下就会直接体现在pre-FEC误码率上。更麻烦的是,PAM4在接收端要同时判定三只眼,中间那只眼因为同时受上下电平串扰和非线性影响,通常是三只眼里最差的。链路能不能长期稳定,往往就看这只中眼。
所以50G以太网从标准制定之初就把前向纠错FEC作为必需项,而不是可选项。没有FEC,PAM4链路很难长期维持数据中心要求的1e-13级别误码率。FEC用一部分线路开销换回纠错能力,让链路的“工作点”可以放在1e-4、1e-5级别,再由接收端把错误纠正回正常水平。这是整个PAM4方案能成立的最后一张底牌。
1.4 为什么不是一步到100G/lane
很多人会问:既然PAM4这么“革命”,为什么不直接把单lane干到100G,一步到位?实际上100G/lane(对应符号率约53GBd的PAM4)确实已经在下一代方案中出现,但对通道的要求苛刻得多,目前更多用在大规模云和数据中心内部的骨干,而不是常规机房的接入层。50G/lane处在很微妙的甜点位。
第一,它可以用现有SerDes工艺和现有光模块封装做出来,性价比合适;第二,它的PCB信道要求比100G/lane低,很多现有机柜、背板、连接器还能继续用;第三,它可以组合成200G、400G交换机端口,满足数据中心从25G到400G平滑演进的节奏。
所以目前的组网常态是:服务器网卡跑50G,TOR交换机上行跑200G或400G,再往上用100G/lane做互联。50G更多时候是“接入层和汇聚层之间的经济型台阶”。理解这一点,后面看组网方案就不会晕。
2. 50G链路怎么搭:芯片到光模块的信号链设计
2.1 三类常见链路:背板、C2C与C2M
要理解50G物理层的设计,可以先把链路分成三类。第一类是背板链路,比如交换机主板到背板连接器之间的PCB走线,再经过背板到另一块线卡。这类链路走线长、过孔多、连接器多,是信号完整性工程师最头疼的场景。第二类是芯片到芯片,也就是C2C,比如交换芯片和PHY之间的短距离走线,距离通常只有几厘米到十几厘米,损耗相对可控。第三类是芯片到模块,也就是C2M,从交换芯片出来,经过主板走线、面板连接器,再到可插拔光模块或DAC铜缆的插头。
工程实践里,C2C和背板链路的通道相对固定,优化手段比较集中;C2M则复杂得多,面板连接器是链路上最明显的阻抗不连续点,再加上可插拔模块的机械公差,留给信号的眼图余量很小。这也是为什么很多50G交换机要把SerDes驱动能力做成可配置,或者干脆在面板附近加Retimer,把信号重新整形后再交给光模块。
2.2 没有均衡器,PAM4跑不动
PAM4信号经过PCB和连接器之后,高频分量被介质损耗吃掉一大块,眼图会变得很“糊”。接收端的均衡器要做的工作,就是把丢失的高频分量补偿回来。最常用的组合是:发射端用多抽头的有限冲激响应滤波器做预加重,根据已知信道特性在发射前把某些频率分量提前推强;接收端先用连续时间线性均衡器做幅频补偿,再用判决反馈均衡器把过去几个UI的“余波”抵消掉。
拿开车打个比方:发射端预加重等于出发前把轮胎气打足,CTLE像是给车换了个更硬的悬架,而DFE则是根据前面路面坑洼的“记忆”去调整控制,抵消掉已经发生的颠簸反弹。PAM4对均衡的依赖比NRZ大得多,因为9.5dB的噪声预算损失必须靠均衡和编码一起找回来。均衡器调得太重会放大噪声,调得太轻又压不掉码间干扰。这也是为什么50G SerDes的调试参数比25G复杂一大截。
对做设备维护的人来说,很少会去手动调均衡器,但需要知道一件事:同一台交换机在不同长度的光模块和DAC之间切换时,芯片内部的均衡配置可能是自动训练的,也可能需要手动匹配。如果换了线缆之后链路误码率变差,不要只怀疑线本身,也查查设备是否自动锁定了正确的均衡档位。
2.3 Retimer解决的是什么问题
Retimer这个词在50G/400G交换机选型里经常出现。它的本质是在链路中间放一个“信号服务区”:进来的电信号已经衰减、抖动、眼图闭合,Retimer把它恢复成干净的时钟和数据,再重新发出去。加了Retimer的C2M链路,相当于把“芯片到连接器”和“连接器到光模块”两段分开管理,每一段都能更从容。
有些链路走线性驱动方案,不加Retimer,靠发射端更强的输出和接收端更强的均衡硬扛。这种方案延迟低、功耗低,但要求链路短、器件质量高。选型时怎么判断:如果厂商明确宣称主板走线、面板连接器和模块整段链路预算都经过验证,实测pre-FEC BER长期稳定,线性方案可以接受;如果链路长、连接器多,或者要混插不同厂商的模块,Retimer版本更稳妥。功耗、成本与稳定性之间,账要算清楚。
2.4 FEC:最后一层兜底与它的边界
再具体说下FEC为什么是必须的,以及它为什么不是万能的。基于RS码的前向纠错机制,发送端对数据流分块,为每个数据块生成若干校验符号,一起发出去;接收端用校验信息去定位并纠正错误符号。当物理信道的误码率控制在一定范围内,FEC可以把最终输出误码率拉得非常低。
问题在于,FEC的纠错能力有上限。当pre-FEC误码率超过某个门限,比如接近1e-4量级时,FEC会纠不过来,甚至纠错后引入额外错误,链路表现为端口Up、协商正常,但持续丢包。现场最容易遇到的“假Up”现象基本都是这个原因。所以运维50G链路,务必养成看pre-FEC BER的习惯,而不是只看交换机端口状态。链路层显示正常,不代表物理层安全。
3. 50G数据中心组网:端口拆分、光模块与设备选型
3.1 从50G到200G/400G:端口的组合逻辑
50G/lane的价值不只在于单端口50G,更在于它成为200G和400G端口的“积木”。常见形态:单通道50G用SFP56封装;4通道乘50G做成QSFP56,端口速率200G;8通道乘50G做成QSFP-DD或OSFP,端口速率400G。同一个交换平台只要把SerDes通道数堆起来,就能组合成不同速率的上行口。
这种组合逻辑在数据中心里特别有用。TOR交换机上行400G,下行接几十台50G服务器,一个400G端口可以用分支线缆拆成8个50G端口,或者拆成更灵活的速率组合。尤其在做机柜间互联和欠载扩容时,分支线缆能大幅减少交换机端口浪费,也让“400G上行加50G下行”这种速配方案变得可行。
注意,分支线缆不等于简单的“一分八”。它内部每一对差分信号都是独立的,对应同一端口下的不同50G lane。接线时必须严格按照端口标识和模块引脚定义来插,插错一个lane,整个端口的FEC就会持续报错,链路看似起来了,实际流量一打就断。这类问题在现网里不少见,后面排查部分再细讲。
| 封装形态 | 通道数 | 单通道速率 | 端口总速率 | 典型应用 |
|---|---|---|---|---|
| SFP56 | 1 | 50G | 50G | 服务器网卡、TOR下行 |
| QSFP56 | 4 | 50G | 200G | TOR上行、汇聚 |
| QSFP-DD / OSFP | 8 | 50G | 400G | 汇聚、核心 |
3.2 光模块形态与连接器跟着升级
50G/lane光模块的输出速率高,内部光器件和DSP的封装也变了。单通道50G一般叫SFP56,模块功耗在几瓦量级;400G的OSFP或QSFP-DD模块功耗可以到十几瓦,接近一块小网卡。功耗升高带来散热压力,机柜里如果还按25G时代的做法把光模块塞得密不透风,高温会让PAM4链路的pre-FEC误码率明显上升。
光纤连接器同样在变。多模短距方案常走MPO-12/16多芯接口,单模长距方案很多仍用双工LC,为了提升端口密度,又出现了MDC、SN等更小尺寸的连接器。PAM4对连接器端面的污染、插损、回损都非常敏感。一根25G链路里能容忍的端面脏污程度,到了50G PAM4这里可能就会导致误码超标。所以在50G光模块的运维规范里,“测光前先看端面,插入前先清洁”应该成为肌肉记忆。
3.3 组网演进:25G接入到50G接入的过渡节奏
从数据中心实际部署节奏看,下一步接入网升级大致分三步。第一步,服务器网卡仍以25G为主,TOR交换机上行从100G升级到200G或400G,汇聚层先吃到PAM4的带宽红利。第二步,服务器网卡逐步换成50G,TOR下行和上行都进入50G/lane体系,这个阶段DAC直连铜缆和AEC有源电缆用得最多。第三步,再往后才是单通道100G/lane普及,那会遇到更严格的信道预算。
对已经规模部署25G网络的机房来说,这几年比较稳妥的做法是“接入层不着急,汇聚层先动”,让50G先在上行链路里跑稳定,积累维护经验,再逐步把服务器侧批量切过去。新建机房则可以直接规划50G接入加400G上行。设备选型上,尽量选端口模式可切换的交换机,能在同一块硬件上跑25G、50G甚至100G/lane,会省掉后面很多重复布线。
3.4 功耗、散热与成本:这笔账必须自己算
看规格书,50G SFP56的功耗普遍是25G SFP28的1.5到2倍,但端口密度也更高。一个400G OSFP模块功耗接近十几瓦时,机柜总功耗就要重新核算。简单估算:一个TOR机架若配2个400G上行模块,再加上交换芯片和风扇功耗,整机功耗可能比25G时代高出一截。如果机柜PDU容量设计得太紧,夏天温度一高就可能出问题,这个余量要提前留出来。
散热方面更要留意风道。光模块在前面板,交换芯片在主板中间,两个热源叠在一起。如果机柜采用前进风后出风,前面板模块区域进风温度过高,模块内部的DSP会先“投降”。装模块时不要密集到没有气流间隙,很多厂商推荐模块之间留空槽位,是有实际意义的。
成本方面,单看单价,50G光模块确实比25G高,但按每Gbps成本算往往更低。再算上端口密度提升和FEC带来的链路预算放宽,整体TCO可能更优。不过,如果链路距离在2米以内,直接用DAC铜缆更省钱,功耗几乎为零;距离超过5米,AEC有源电缆是折中方案。这些选择没有绝对答案,要根据机柜布局和现网流量实测来定。
4. 实测视角:眼图、误码率与链路预算的判读
4.1 先看pre-FEC BER,再决定要不要上眼图仪
很多刚接触PAM4的工程师习惯性地抓起眼图仪,第一件事就是看眼图漂不漂亮。我的建议是反过来:先把链路的pre-FEC BER抓出来,再决定要不要用示波器做深度定位。
原因很简单:PAM4链路最终是否可用,判断标准不是“眼图看起来开得大”,而是“FEC能不能兜住”。pre-FEC BER是当前信道质量的直接读数,post-FEC BER通常都是0,说明FEC已经把错全部纠正了。如果pre-FEC BER长期在1e-6以下,链路余量足够;到了1e-5甚至1e-4量级,眼图再好看也危险;反过来说,眼图略差但pre-FEC BER能稳在1e-7,实际运行也没问题。
给一个自查用的经验阈值,具体以设备规格为准:健康小于1e-8,相对理想;关注1e-6到1e-4,需要持续观察;危险接近或超过1e-4,说明链路已到FEC极限边缘。设备厂商一般在命令行里都能查到端口FEC错误统计和预纠错误码率,把这个采集脚本化,比临时抓包有用得多。
4.2 PAM4眼图:三只眼,重点盯中间那只
PAM4眼图和NRZ的“一只大眼”完全不同:四个电平叠在一起,从上到下形成三只眼。上眼和下眼分别对应最高与最低电平之间的切换区间,中眼对应中间两个电平之间的距离。物理链路的非线性、均衡不足、码间串扰,都会让三只眼出现不同程度闭合,其中中眼通常最先恶化。
带TDEC指标的光模块测试,衡量的是发射端信号经过信道色散后眼图闭合的程度,数值越小说明发射端余量越好。现场看PAM4眼图时,我不仅看纵向眼高,还看横向眼宽和抖动分布;更重要的是看三只眼的高度差异。中眼明显比上下眼矮一截,说明信道均衡压力集中在中间电平,这种情况往往伴随pre-FEC BER偏高。
浴盆曲线也值得掌握。简单理解:横轴是采样点相对UI中心的偏移,纵轴是对应位置的误码率。曲线开口越宽,表示接收端可以容忍的采样偏差越大,链路越稳。这个图在示波器和误码仪上都能生成,是评估链路长期稳定性的好参考。跑批量流量测试时,出几张浴盆曲线存档,以后对照很方便。
4.3 链路预算:一笔五分钟的估算
光链路排障时,我经常先在脑子里算一遍链路预算。公式很简单:链路可用余量 =(发射光功率减接收灵敏度)减(连接器插损总和)减(光纤衰减总和)。
举个例子:某50G单模模块标称发射光功率+1dBm,接收灵敏度-9dBm,链路总预算就是10dB。两端各一个法兰连接器,插损按0.5dB算,共1dB;跳线和干线共2km单模光纤,衰减按0.4dB/km算,共0.8dB。剩余余量就是10减1减0.8,等于8.2dB。余量看着不小,但如果中间有额外熔接点,或者某个连接器插损超标到1.5dB,余量会被迅速吃掉。
铜缆DAC和AEC的链路预算则是另一套逻辑:连接器插损、线缆插损、远端回损都要算进去。25G DAC能跑10米的线缆,到了50G PAM4可能跑3米都紧张。所以布线时DAC长度宁短勿长;AEC有源电缆会好一些,但功耗和成本又上去了。机柜内互联长度规划,最好在采购前就把距离量好。
4.4 最小测试拓扑与常见误判
我推荐的最小链路测试拓扑是:测试端口A → 光模块A → 光纤跳线 → 光模块B → 端口B,链路单独隔离,不经过交换机内部转发。这样可以先排除交换芯片、ACL、策略路由等上层因素。
很多所谓“链路故障”,最后定位下来其实是环路、端口限速、网络策略等问题,PAM4只是背了锅。因此判断“光模块和物理层”之前,先把端口的收发计数、FEC统计、CRC错误都拉出来看一眼。如果CRC errors每分钟都在涨,那是物理层问题;如果计数器全部正常但业务不通,问题大概率在上层。先把这个顺序理顺,能省掉一半的无效排障时间。
5. 现场故障排查:从PAM4链路里带回来的几条经验
5.1 端口协商正常但丢包严重:先查FEC统计
典型现象:交换机端口显示Up,光模块光功率正常,但Ping开始丢包,流量一大丢包越明显。此时第一件事不是换线,而是看pre-FEC BER。我处理过一个类似案例,一根跳线端面沾了一点灰尘,光功率读数只下降了不到1dB,看起来“完全正常”,但pre-FEC BER已经到2e-4,FEC明显兜不住。用光纤显微镜一看,端面中央有个肉眼几乎看不见的污点。清洁之后,pre-FEC BER直接回到1e-9以下,问题消失。
这个案例的教训是:PAM4链路对“软故障”特别敏感,光功率正常不代表信号质量正常。排障顺序建议是:查FEC统计,查光功率,显微镜看端面,清洗,复测。不要一上来就换模块换线,那样往往把好模块退回仓库,问题却还是查不出来。
5.2 机柜温度对PAM4链路的影响远超25G
另一个高频问题:白天正常,一到中午机房温度升高,某些链路开始闪断。PAM4信号对温度和供电噪声更敏感,模块内部DSP在高温下均衡性能下降,激光器发射功率也会随温度漂移。
某次处理一个“每天下午三点准时丢包”的问题,排查了一个多星期,最后发现是同一列机柜的几个高功耗模块把该机柜进风温度拉高了3到4度,链路正好踩在误码门限边缘。加了几块盲板、调整了气流方向之后,问题再没出现。给50G机柜做散热规划时,不要把模块塞到密不透风,冷通道温度余量要留足。
5.3 分支线缆“一分四”“一分八”:插错lane是隐形坑
前面提过分支线缆按lane独立工作。实际排障中,分支线缆接错造成的故障极具迷惑性:端口状态可能Up,FEC统计也在涨,但流量时好时坏。因为每根分支子线对应模块的不同引脚,插错后等于把两个端口的信号交叉了,FEC根本算不对。
应对方法:打标签时把端口号、模块lane号、机柜位置一次标全;插拔前拍照确认;接完线之后用设备的光模块诊断信息逐lane查看光功率和BER,确认每一条lane都正常。现在新固件大多能显示每lane状态,花两分钟逐lane确认,比后面排查两小时值得。
5.4 兼容性白名单:50G时代更严格
50G/400G可插拔光模块里,很多都集成了DSP和微控制器,和交换机之间的管理通道握手更复杂。不少交换机的固件里维护着一份支持模块列表,未列出的模块即使光口能Up,也可能出现FEC协商不上、诊断信息读不到、甚至端口被锁死等问题。
采购上我建议分两步:选型阶段拿样模块实际插到目标交换机上跑满负载流量,重点看pre-FEC BER和FEC统计;批量采购时锁定兼容性列表内的型号。不要轻信“兼容所有平台”的宣传,兼容列表是随固件版本变化的,同一款模块在不同固件版本下表现可能完全不同。
5.5 一点实操心得
做了几年PAM4链路维护,我最大的体会是:50G系统的核心词是“余量”。设计时留够链路预算,部署时留够散热和功耗余量,运维时盯住pre-FEC BER趋势,这个系统就不会在关键时刻给你惊喜。我会把每台交换机的FEC统计、光模块温度做成半小时一次的采集脚本,存进历史库。链路出问题时翻曲线,比翻聊天记录有用得多。
如果你接下来准备从50G接入再往上走,这套“看眼图、盯BER、守余量”的思路也完全适用于100G/lane时代。先把手头50G链路跑稳,把现场数据积累起来,比什么都更有说服力。