Rubin+CPX 启示：推理也需高带宽，2027年1.6T可以更乐观展望 0911

Rubin+CPX 启示：推理也需高带宽，2027年1.6T可以更乐观展望 0911
事件点评：9/9，Nvidia在AI Infra Summit上演讲，并发布了Rubin+CPX，CPX 机柜架构，其中CX-9配比较高，4个rubin+8个 CPX使用了8个CX-9，显著冲击大家此前对1.6T端口数量的预期。我们点评如下： 回顾Nvidia 机柜式架构，每一代机柜scale out总带宽提升的核心是带GPU die带宽的提升。 ①GB200 72个CX7，1个B200有2个die，单die带宽 200G； ②GB300 72个CX8，1个B300有2个die，每个die带宽为 400G； ③Rubin NVL144，一个托盘4个rubin，每个有2个die，对应4个CX-9，每个die带宽为800G； ④Rubin Ultra NVL576，实际上是144个Rubin Ultra GPU，每个有4个GPU die，576个die，对应288个CX-9，每个die 800G。 注：从Rubin开始NVL计数法用die数量计算，之前是用卡个数计算。 市场关注的点是8个CX-9到底是什么配置下才有，还是都有，我们分析如下： 我们认为4 Rubin+8 CPX 对应8个CX-9是合理的。具体计算如下：1）由于CPX是单die，所以一个4 Rubin+8 CPX托盘实际上有16个die，每个die按rubin代际应该是800G，因此是8个CX-9； 至于纯8个CPX Tray，和纯4 Rubin Compute Tray，也对应8个CX-9，我们猜测这是dual rack架构，类似2*NVL36，每个CPX Tray和Rubin Tray有一半的端口/网卡进行scale out互联，对外scale out的合计也是16/2=8个CX-9端口，带宽也很高。我们认为本次展示的VR144与此前GTC大会的VR144端口数量和前面板形态都有变化。 总结：我们认为显现出几个趋势： ①推理的步骤分卡解耦使得单托盘GPU数量增加，增加的GPU都会带来新增带宽。如果未来ASIC或者其他GPU厂商也推出解耦方案，那样会非常利好光模块。 ②打破了只有训练才需要高端光模块的惯性思维。可想该机柜方案推广成功，2027年1.6T光模块用量可能非常可观。 ③由于单卡die数量不一样，光模块个数：卡可能会非线性增长。如果按GPU计算，三层组网架构，不考虑铜做第一层，GB200是1:3 800G，GB300是1:6 800G，VR144可能是1:6 1.6T，VR CPX 144平均为1:4 1.6T（12张卡，接入带宽为12.8T）。 以上可能分析有误，请各位批评指正。 【国泰海通通信团队】