登录
11月2日，Marvell宣布以1150亿美元的隐含企业价值，全股票收购激光器巨头Lumentum。消息公布当天，Lumentum跌18.59%，Marvell跌12.72%。36氪
一家做芯片和网络的公司，为什么花这么大代价买激光器？因为AI数据中心里，算得快已经不是最难的事，把数据按时送到才是。
Meta训练Llama 3时，54天里记录了466次任务中断，平均不到3小时一次。其中419次是意外中断，78%指向硬件问题，GPU故障占意外中断的58.7%。arXiv
每次中断，集群都得从最近一次存档恢复。这个存档就是checkpoint。
一次checkpoint要写多少数据？以万亿参数模型为例，参数本体约2TB。加上Adam优化器的动量、方差和主权重，每个参数还要多带十几个字节，总量能到十几TB。
这些数据先从HBM搬到内存，再经存储网卡、存储交换机，最后写进并行文件系统。
第一跳就慢：H100的HBM3带宽约3.35TB/s，而HBM到内存的PCIe Gen5 x16只有约64GB/s，差了一个数量级以上。知乎
工程上的办法是分片流水：算、搬、写三段各走各的。搬完一个分片就写一个分片，不让训练停下来等存档。
万卡同时写又是洪峰。并行文件系统得把每张卡的写入条带化，打散到所有存储节点，用整个集群的聚合带宽去接。
这也是存储面要单独组网的原因。训练面跑的是微秒级、延迟敏感的无损RDMA，存储面跑的是周期性的吞吐洪峰。两种流量挤在一张网上，checkpoint一开写，梯度同步就得排队。
于是AI集群里有了三张网：机内是NVLink，机间训练走InfiniBand或RoCE，存储面常见的是NVMe over Fabrics，或者并行文件系统跑在RDMA上。三张网各管一段，谁也不替谁。
存储网络不是一根网线，它是网卡、交换机、协议和文件系统叠起来的一条数据通路。
钱也在往这里走。Bernstein拆过一套Vera Rubin NVL72：整机约752万美元，GPU约396万，CPU及内存约176万，网络约117万。网络不再是配套，是一块单独要算的账。知乎
另一组数字更刺眼：VentureBeat Intelligence今年三季度的调研里，79%的企业说自己的GPU至少一半时间在闲置。卡买回来了，任务没跟上；任务真来了，数据又未必跟得上。36氪
Marvell买Lumentum，补的是800G/1.6T光模块里的激光器。Marvell自己，本来就是这一代光模块的主要DSP供应商。
Lumentum的200G EML全球市占率超过50%，和Coherent形成双寡头。交易完成后，两家在有线通信半导体市场的份额将接近7%，仅次于英伟达和博通。第一财经
光互连正在从机架之间，往芯片和封装旁边靠。CPO把光引擎搬到交换芯片旁边，为的是同样的东西：每比特数据的传输成本和功耗。
存储网络的故事没那么显眼，但逻辑一样。GPU的算力可以花钱买，数据能不能按时喂进去，要靠网络、协议和文件系统一起设计。
下次看到“万卡集群”的数字，不妨多问一句：这些卡，有多少时间在等数据？
