《AI 产业链》系列 · 第八篇

一座AI数据中心的BOM结构,AI CapEx最终流向了哪些零部件?


前面七篇文章,我们一路追踪了中国AI产业链从需求到供给到制造的完整脉络。字节阿里腾讯每年3500亿AI资本开支(按照2025年口径)。但这3500亿,具体买了什么东西?

上面这台大柜子,是英伟达GB200 NVL72,是目前全球部署量最大的AI服务器机架。可以把它理解为把18台AI服务器塞进一个大柜子里,共享供电和散热。约2米高,重1.36吨,有72颗AI芯片塞在里面,价格大概在2200万人民币。

一座万卡级AI数据中心,部署约1万颗GPU,大约需要140台这样的机架,加上配套的网络设备、存储、液冷系统、电力设施和机房土建,总投资约50-70亿元。而光是买机架就要花掉约30亿元,花差不多一半的钱。

这篇将会拆开这台2200万的大柜子,看看里面都装了什么零部件,每个零部件花了多少钱。然后把视角拉远,看看这台柜子放在数据中心里还需要什么配套设施。完整的BOM结构树放在文章最后。

机架中最贵的是芯片

打开这台GB200 NVL72,首先看到的是18个计算托盘。每个计算托盘里装着2颗B200 GPU和1颗Grace CPU,18个就共有72颗GPU和36颗CPU,这就是整台机架的芯片。

芯片是机架里最贵的部分,GPU模块又是芯片部分最贵的。单颗B200 GPU模块售价约21-28万元,72颗合计超过1500万元;加上36颗Grace CPU,芯片的采购成本占了这台2200万机架的70-80%。但这70-80%里面,大部分是英伟达的利润。单颗B200 GPU模块的实际制造成本只有约4.5万元(Epoch AI建模)。英伟达卖21-28万元,毛利率超过80%。也就是说,如果花1500万元买72颗GPU,其中超过1000万元变成了英伟达的利润,真正用于制造这些芯片的成本不到500万元。

那么这4.5万元的制造成本里面,都花在了什么上面?HBM高带宽内存是最大的单项。每颗B200模块内部封装了8个HBM3e,HBM成本合计约2.1万,占制造成本的45%。HBM可以理解为焊死在GPU旁边的超快内存,它不像普通电脑内存条可以拔下来,而是和GPU一起封装在同一块基板上。先进封装(CoWoS)是第二大项。CoWoS是台积电开发的一种先进封装技术,把GPU计算芯片和HBM并排放在一块硅中介层上,实现超高速互联。每颗B200的CoWoS封装成本约8000元,占制造成本的17%。计算芯片本身反而不是最贵的。每颗B200的有两个逻辑die,制造成本约6500元,只占14%。

GPU模块里制造成本最贵的部分不是GPU计算芯片(可见英伟达的利润有多高),而是旁边的内存HBM,这有让人觉得反直觉,但这也解释了为什么SK海力士在过去两年成为AI产业链上涨幅最大的公司之一。

那么在这台机架里,芯片和芯片之间是怎么连起来的?芯片插在什么上面?谁给它们供电?

芯片之间的连接

把目光从芯片上移开,看看机架的其他东西:有让机架之间高速通信的光模块、连接芯片的线缆和连接器、承载芯片的电路板、给芯片供电的电源模块。这些芯片之外的零部件合计约占机架采购价的10-15%。

先看看光模块。

一台AI机架算力再强,如果不能和其他机架协同工作,就只是一台孤立的超级计算机。训练一个大模型需要成百上千台机架同时运算、不断交换数据,光模块就是负责这件事的,它把每台机架产生的数据以光信号的形式高速传输到其他机架。在GB200 NVL72方案中,机架内部的72颗GPU之间通过铜缆互联(下一节会讲),光模块只负责机架之间的通信。平均每颗GPU大约需要配2-3个800G光模块,一台机架大约需要150-220个800G光模块。800G光模块2025年均价约3400元,2026年预计降至约2800元;下一代1.6T光模块2025年约7000-8500元。按一台机架200个800G光模块、均价3400元算,单台机架的光模块采购成本约68万元,在机架2,200万的总价里占比不高(约3%),但放到整个数据中心的尺度上就不小了。一座万卡级智算中心140台机架,光模块总采购额接近1亿元,而且这只是英伟达方案的需求量。

据SemiAnalysis等产业研究机构披露,国产全光方案,在系统内的芯片互联上也使用光模块,而不是英伟达方案中的铜缆,单个大型超节点系统的光模块用量可达数千个,远高于英伟达方案。如果国内AI基础设施国产方案的占比持续上升,光模块的总需求量会远超基于英伟达BOM推算的结果。光模块是AI数据中心所有非芯片零部件中,产业确定性最高、增长最快的环节。全球光模块市场目前也由中国厂商主导。

光模块负责机架之间的通信,而机架内部GPU之间的连接需要铜缆。

打开GB200 NVL72的侧面板,会看到密密麻麻的线缆,5000多根铜缆,总长度超过3公里,通过NVLink背板把72颗GPU全部连在一起。这是英伟达的方案,通过短距离、高密度的芯片间互联,因为铜缆比光模块成本更低、延迟更小。这些铜缆加上NVLink背板上的连接器,合计价值约50-85万元/机架。

需要注意的是,铜缆互联是英伟达特有的架构选择。前面提到的国产全光方案,在系统内互联上也使用光模块而不是铜缆。这意味着如果国内部署向国产方案倾斜,对铜缆的需求会相对下降,而光模块的需求会进一步上升。不过国产方案的下一代系统可能部分回归铜缆做短距离互联,因此铜缆不会完全消失,而是相对份额变化。

所有的芯片、内存、连接器都需要被固定下来,用于固定的就是PCB(印刷电路板)。

AI服务器对PCB的要求和传统服务器完全不同。传统服务器主板一般是12-16层PCB,GB200 NVL72要求24-40层高多层板。层数越多、材料越特殊、工艺越复杂,价格越高,AI服务器PCB的单机价值量是传统服务器的5-8倍。PCB不像光模块那样有独立的产品形态,它藏在主板里面,但它的价值量增长是实实在在的。

最后看一下电源。

72颗GPU同时满载运算,整机功耗达120kW,相当于120台家用空调同时运转。这需要一套高密度的供电系统。GB200 NVL72的供电架构是48V直流。而且功耗还在快速上升,下一代GB300机架的功耗约180kW,再下一代Vera Rubin预计超过300kW。功耗每一代翻倍,电源系统的复杂度和价值量也在跟着翻倍。相比光模块和PCB,电源系统在AI机架BOM中的绝对金额不算大,但随着功耗密度持续飙升,这个环节的增长趋势是确定的。

到这里,我们拆完了机架内部的主要零部件。接下来把视角从机架内部拉远,看看让这台AI机架跑起来还需要什么。

机架外的基础设施

前两部分拆的是机架内部的零部件。但一台120kW的机架,不可能直接插上电源就能跑,它需要散热、需要稳定的电力供应、需要放在专门建造的机房里。这些机架之外的配套设施:液冷系统、电力设备、机房土建,占一座智算中心总投资的30-40%。 其中液冷和电力约20-25%,土建与场地约10-15%。

一台GB200 NVL72产生120kW的热量,传统风冷完全带不走,液冷已经是AI机架的标配。液冷系统分为机架内和机架外两部分。在机架内每颗GPU上方贴着一块冷板,里面流动着冷却液,把芯片的热量带走;在机架外,冷却液通过管路流到冷却分配单元,再传导到室外的冷却塔或冷水机组,最终把热量散发到大气中。GB300 NVL72单机架冷却系统总成本约35万元,其中18个计算托盘每个约1.6万元,9个NVSwitch托盘每个约7200元。倒推GB200 NVL72的液冷成本约30万元/机架。液冷成本随硬件代际持续升级,GB300比GB200增长约20%,下一代Vera Rubin NVL144再增长约17%。一个有约140个机架的万卡级数据中心,机架内液冷BOM合计约4000-5000万人民币,这还不算外部的冷却塔和冷水机组。

万卡集群总功耗约15-25MW,相当于一个小型城镇的用电量。但电力主要体现在电费和选址决策上,而不是一次性的设备采购。基础设施层的电力设备(变压器、UPS、HVDC高压直流配电、柴油发电机)价值量在上升。但相比液冷和光模块,电力设备还没有出现爆发性的增长拐点。AI数据中心对电力供应的更深层影响,会在后续的研究中单独展开。

机房建筑、土地、消防安防,合计占总投资约10-15%。GB200 NVL72单机架重1.36吨,对机房地板承重有特殊要求。选址的核心考量是则是电价和气候。这一层壁垒较低,不作为重点讨论。

尾声

本文以英伟达的GB200 NVL72为例,分析了它的BOM机构,探明了AI资本开支具体买了什么。

其中大部分钱付给了英伟达买芯片,而且这些钱里的大部分变成了英伟达的利润。一台2200万的机架,芯片采购占了70-80%,其中超过1000万是英伟达的毛利。真正留在供应链上,分给光模块、铜缆、连接器、PCB、电源、液冷这些零部件厂商的,只占机架采购价的20-30%。

不过有一点值得注意。本文的BOM拆解以英伟达GB200 NVL72为基准,但国产AI算力方案在互联架构上选择了全光路线,系统内芯片互联也使用光模块而不是铜缆,单个超节点系统的光模块用量可达数千个,远高于英伟达方案。同时国产方案的单芯片价格更低但数量更多,系统总价中芯片占比更低、零部件占比更高。如果国内AI基础设施中国产方案的占比持续上升,光模块、液冷、PCB等环节的需求天花板,可能比基于英伟达BOM推算的结果要高得多。

把这篇BOM拆解和前面七篇放在一起,从需求到零部件的传导链就完整了。大厂的的千亿AI CapEx , 用于建设一个个AI数据中心 ,数据中心里面放置着一台台AI机架,机架里面有着芯片、光模块、铜缆、PCB、电源 ,机架外有着液冷和电力设施。每一步都有自己的价值量分配和竞争格局。

接下来会进入这个系列的最后阶段。一篇中国AI产业链总结,把前面所有文章的认知串成一张完整的产业链价值传导地图;一篇美国AI产业链全景,看看全球AI算力建设对中国供应链意味着什么。

如果你喜欢我们的内容,欢迎点赞和转发;如果你有新的信息或不同的观点,欢迎评论和交流。

附录:一座AI数据中心的BOM结构

主要信源: Epoch AI,Silicon Analysts,TrendForce,Korean Economic Daily,DIGITIMES,LightCounting,SemiAnalysis,招商证券,国金证券,Morgan Stanley