看月牙
(报告出品方/作者国证券,马成龙)
光模块主要用于实现光、电号的转换
光模块是用于设备与光纤之间光电转换的接口模块。光模块主要用于实现光电号的转换。 光模块主要由光学器件和辅料(外壳、插针、PCB与控制芯片)构成。光学器件(包括光芯片和光学元件组件)约占光模块成本70%以上,辅料(外壳、插针、PCB与电路芯片等)占光模块总成本近30%。光发射组件TOSA一般包含激光二极管、背光监测二极管、耦合部件、TEC以及热敏电阻等元件。一定速率的电号经驱动芯片处理后驱动激光器(LD)发射出相应速率的调制光号通过光功率自动控制电路,输出功率稳定的光号。光接收组件ROSA一般包含光电探测器、跨阻放大器、耦合部件等元件。一定速率的光号输入模块后由光探测器转(PD/APD)换为电号,经前置放大器(TIA)放到后输出相应速率的电号。
光模块传统应用场景电网络和数据中心
电网络的光通应用1980年代光纤诞生以来,光通应用从骨干网到城域网、接入网、基站。目前国内传输网络基本完成光纤化,但数据在进出网络时仍需要进行光电转换;未来向全光网演进。
数据中心的光通应用1990年代开始,光通应用从中短距离的园区、企业网络延伸到大型数据中心的系统机架间、板卡间、模块间、芯片间应用。仍以光模块为例,据LightCounting数据,数通市场(以太网+光互连+光纤通道)收入占比在55%-60%左右。数据中心应用占比已经超过电市场。
据FROST&SULLIVAN预测,2020-2024年全球光模块市场规模预计从2020年的105.4亿美元增长到2024年的138.2亿美元,年复合增长率约为7.0%。应用于数通领域的光模块市场规模预计则由2020年的54.2亿美元快速增长 2024年的83.9亿美元,年复合增长率约为11.5%,其占比从51.4%进一步提高至60.7%。
电市场运营商5G资本开支平稳,光纤接入市场景气度高
无线侧用于5G资本开支预计2022年达到高点,后期逐步下行,电运营商的Capex具有周期性特点,在代际升级的主建设期,运营商 Capex会有明显的上升。
接入侧技术升级和渗透率提升带来持续需求。国内在政策驱动千兆光网渗透,海外大部分国家光纤接入率仍较低,具有明显提升空间; 技术上光纤接入步入10G-PON时代,带来持续新增需求。
根据LightCounting的数据,2020年FTTx全球光模块市场出货量约6289万只,市场规模为4.73亿美元,随着新代际PON的应用逐渐推广,预计至2025年全球FTTx光模块市场出货量将达到9208万只,年均复合增长率为 7.92%,市场规模达到6.31亿美元,年均复合增长率为5.93%。
交换机系统升级推动数通光模块迭代
数通市场交换机芯片产品升级节奏影响光模块升级部署。一般来说,从交换机芯片推出到光模块开始放量需要2-3年的时间。 博通首款32X100G交换机芯片2014年开始送样,亚马逊等北美云厂商2016H2起量部署100G光模块。 2017年底博通32X400G交换芯片Tomahawk3开始送样,亚马逊、谷歌等北美云厂商从2018年H2开始部署400G产品。2019年底具备25.6Tbps 交换能力的交换机芯片Tomahawk4发布,2020-2022年是400G光模块的快速起量期。 2022年博通和英伟达、思科等均有800G交换机布局。
光模块市场空间预计2026年超过170亿美元
2020年全球光模块市场规模80亿美元,未来五年预计稳步增长。根据LightCounting预测,2016-2018年光模块行业增长平缓,2019年后光模块升级加速,尤其2020年受疫情和新基建政策催化,电和数通市场需求强劲,全年光模块市场规模为80亿美元,同比增长23%。预计到2026年,全球光模块市场将超过170亿美元,2021-2026年的五年CAGR为14%。 分下游客户来看,数通客户市场规模超过电客户市场规模,是未来光模块行业的主要驱动力。根据Yole数据,2020年光模块市场中,数通市场规模约为电市场的1.2倍;2026年预计数通市场将为电市场2.6倍。
以太网光模块市场空间高速光模块放量是核心动力
以太网光模块的收入在光模块市场中占比将近一半,市场空间超过百亿美金。根据LightCounting最新报告,以太网光模块的销售额在2021年达到46.52亿美元,同比增长25%。预计2022年用户侧以太网光模块的营收增幅为 22.3%。未来随着新技术的发展和网络流量长期保持持续增长,以太网光模块销售额也将保持较快增长并不断迭代升级。预计到2026年,以太网光模块市场将达到88.51亿美元,约为全球光模块市场规模的52%。22-26年复合增速11.7%。高速以太网光模块(200G、400G和800G)是以太网光模块需求增长的核心驱动。2021年100G及以下的光模块收入规模约为30亿美元,在以太网光模块市场中占比64%。当前200G及以上光模块迅速放量,后续将成为增长主力。
市场格局变化国内厂商已占据领先位置
国内光模块企业全球地位持续提升。10G时代以北美光模块厂商为主,40G时代,中际旭创和AOI崛起,2021年中际旭创和II-IV成为出货量头部厂商。
国产厂商崛起原因分析(1)欧美日光模块厂商起步较早,专注于芯片和产品研发,部分厂商剥离低毛利的光模块业务,制造生产端产能逐步向以中国为代表的发展中国家转移;(2)国内光模块厂商依托劳动力成本、市场规模以及电设备商扶持等优势,在光模块封装、 测试等环节积累了大量实践经验,以中际旭创和新易盛为代表的国内厂商在竞争中取得份额突破,积极扩建产能;(3)云厂商采购模式变化和封装工艺的变化,带来行业洗牌机会。
技术演进趋势硅光子集成
硅光子技术意在提升光模块集成度。 基于标准硅制造的硅衬底材料,利用半导体晶圆材料可延展特性,采用CMOS 等工艺应用于光电一体集成器件制造。其物理架构由硅衬底激光器、硅衬底光电集成芯片、光纤等辅助物料封装构成。硅光技术的难点之一是集成激光器和调制器,PD各种被动器件,目前,相关技术主要包括独立激光器,混合集成, 异质集成,单片集成等。
硅光模块市场空间根据Yole预测,硅光模块市场将从2018年的约4.55亿美元增长到2024年的约40亿美元,复合年增长率达44.5%。
硅光行业市场格局Infinera是大规模InP PIC技术及产业的领导者;Intel、Luxtera等是硅基光子集成产业应用的引领者,Sicoya、 Rockley、Inphi、Acacia在硅基光电集成收发芯片的设计方面也较为领先,硅光模块封装环节依旧是传统光模块的封装厂商占主导。
AIGC等新场景有望成为新一轮的云基建建设驱动力
AIGC等新应用场景的出现,成为未来云基建投资的重要推动力。数据中心作为流量的基石,算力的重要载体,核心受益于算力和流量的扩张,近十年行业经历了几轮快速的发展增长,分别受益于移动互联网、疫情带来的线上流量增长等;随着AI等新应用场景的出现, 为行业赋予了新的增长动能,有望带动行业新一轮建设升级。
AI无人机、自言语言处理以及计算机视觉为主要应用场景
人工智能主要利用数字计算机或者由数字计算机控制的机器,模拟、延伸和扩展人类的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术和应用系统 。
AI的核心技术主要包含深度学习(DL)、计算机视觉(CV)、自然语言处理(NLP)和数据挖掘(DM)等, AI目前主要的应用场景包括医疗、无人机、自然语言处理和计算机视觉与图像处理等。
ChatGPT确立LLM模型的大参数和深度学习两大属性
ChatGPT的出现确立了大语言模型两个必备元素大参数+深度学习(Large&Deep) ChatGPT是基于自然语言处理(NLP)下的AI大模型,产品能够通过大算力、大规模训练数据突破AI瓶颈,通过理解和学习人类的语言来进行对话,并引入新技术RLHF 进一步提升了人工智能模型的产出和人类的常识、认知、需求、价值观保持一致。在在GPT模型出现之前,行业对于AI大模型的构建并没有取得较高关注,核心在于没看到模型展现出靠近人类的特征。GPT模型首次展示出了通过深度学习和大模型参数的输入,AI模型可以涌现出靠近人类的特征。 一般认为模型的思维推理能力与模型参数大小有正相关趋势,一般是突破一个临界规模(大概62B,B代表10亿),模型才能通过思维链提示的训练获得相应的能力。如果在6B以下,那很可能还只是GPT-2级别的初级模型。
AI大模型下,网络结构向低延时高速率演进
AI模型作为高性能计算业务,强调低时延高速率,通常由IB网络承载。 数据中心内部有三类典型的业务通用计算(一般业务)、高性能计算(HPC)业务和存储业务。每类业务对于网络有不同的诉求,比如HPC业务的多节点进程间通,对于时延要求非常高;而存储业务对可靠性诉求非常高,要求网络0丢包;通用计算业务规模大,扩展性强,要求网络低成本、易扩展。由于上述业务对网络的要求不同,数据中心内部一般会部署三张不同的网络由IB(InfiniBand)网络来承载HPC业务,由FC(Fiber Channel)网络来承载存储网络,由以太网来承载通用计算业务。
数据中心从云时代进入AI时代。在企业数字化转型的大背景下,数据资产逐步成为企业的核心资产。和云计算时代比,AI时代企业数据中心 的使用正在聚焦业务快速发放向聚焦数据高校处理转变。未来满足在AI时代下数据高效处理诉求,0丢包、低时延、高吞吐成为AI数据中心核心考核指标。
Infiniband高速网络,大模型下优选网络技术
以太网是一种广泛使用的网络协议,但其传输速率和延迟无法满足大型模型训练的需求。相比之下,端到端IB(InfiniBand)网络是一种高性能计算网络,能够提供高达 400 Gbps 的传输速率和微秒级别的延迟,远高于以太网的性能。这使得IB网络成为大型模型训练的首选网络技术。
Infiniband网络(IB网络)是指通过一套中心 Infiniband 交换机在存储、网络以及服务器等设备之间建立一个单一的连接链路, 通过中心 Infiniband 交换机来控制流量,能够降低硬件设备间数据流量拥塞,有效解决传统 I/O结构的通传输瓶颈,还能与远程存储设备和网络设备相连接。
端到端IB网络还支持数据冗余和纠错机制,能够保证数据传输的可靠性。在处理大模型中较多的数据时,数据传输错误或数据丢失可能会导致训练过程中断甚至失败,因此保证传输的可靠性尤为重要,而IB网路有效实现了保证。
A100网络结构解析
AI大集群数据中心的方案部署通过切分基本单元进行部署,每个基本单元英伟达定义为SuperPOD。 对于一个网络集群的用量测算逻辑需要关注三个关键指标:1)单集群服务器个数;2)网络拓扑结构(决定交换机和光模块用量); 3)交换机速率(决定光模块速率上限) 每个DGX A100 SuperPOD基本部署结构息为 140台服务器(每台服务器8张GPU)+交换机(每台交换机40个端口,单端口200G) 网络拓扑结构为IB fat-tree(胖树),交换机速率为200Gb/s。
根据A100的端口来看,一共分为四个网络,计算网络(compute)、存储网络(storage)、In-band管理网络和out-of-band管理网络,其中计算侧的端口数为8个,存储两个,In-band两个,out-of-band 1个,一共13个端口。 考虑到光模块的用量集中在计算侧,我们仅针对计算网络的需求进行光模块用量测算。
关于网络拓扑结构英伟达在计算网络部分选择了无收敛胖树,无收敛胖树的结构的特点在于上下行的端口数是完全一致的,所以只要知道其中一层的网络的连接线缆数就可以推算出每一层网络的线缆数。
关于网络结构的层数针对于80台及以下A100服务器集群,一般会进行两层网络结构部署(服务器-leaf层交换机-Spine层交换机), 针对140台服务器,会进行三层网络结构部署(服务器-Leaf层交换机-Spine层交换机-Core层交换机)。 140台服务器三层交换机的部署数量分别为56台-80台-28台,一共是164台交换机。 每层交换机对应的线缆数分别为1120根-1124根-1120根。 假设服务器和交换机之间采用铜缆,其余采用AOC或者光纤,均使用光模块, 所以光模块的需求为 (1124+1120)*2=4488个。 一个基本单元内各网络硬件需求比例 交换机光模块=1401644488=11.2=32.1。
A100网络结构各环节需求弹性测算
基于下游应用呈现规模角度,即按照单GPT4.0模型对于服务器需求用量测算。
假设1单个应用的需求角度看,服务器潜在用量为1.5万台。
假设2全球假设国内和海外有潜在20家公司可能形成同样类型规模应用。
假设3网络结构比例按照单个SuperPOD方式部署,即服务器 交换机光模块的用量比例=11.232.1。
假设4服务器价格参考英伟达价格,为20万美元;交换机结合 Mellanox售价,假设为2.5-3w美金,光模块根据交换机速率,现在主流为200G,假设单个售价为250美金。
从A100到H100,性能全面提升
2023年一季度英伟达发布A100下一代H100 GPU方案,性能全面提升,主要体现在以下几个方面 新增FP8数据类型和新的Transformer引擎相结,与 A100 GPU 相比,提供6倍的吞吐量。Transformer Engine明显加速了基于 Transformer的模型(例如大型语言模型)的AI计算。 H100拥有18个第四代NVLink 互连,提供900GB/秒的总带宽,是A100 GPU 600 GB/秒总带宽的1.5倍,是 PCIe Gen5 带宽的 7倍。 NVSwitchH100采用全新的第三代NVSwitch,提供64个第四代NVLink互连端口,加速节点内GPU通;节点外的二级 NVSwitch 互连支持具有地址空间隔离和保护的大型 NVLink 域(最多32个节点或256个GPU),并提供57.6TB/秒的全部带宽。
算力角度,H100服务器用量需求测算
从用户使用角度来测算,我们对于服务器算力的测算受大模型参数,日活人数,每日每人提问等多因素影响。和A100时期的不同,需求测算的参数有以下更改关于单台H100服务器的算力A100时期,在FP16位时,单台A100的算力处理能力为5 PFLOPS,在H100时,首先新增FP 8位,对应算力能力提升到23 PFLOPS,提升了6倍,在FP16位时对应算力能力为15PFLOPS,考虑到模型调用时会存在不完全使用FP8位置,折中选择单台H100的算力处理能力为20PFLOPS。关于每人每天提问字数,考虑到算力的提升以及模型升级为多模态,假设提问字数升级为5000字。基于以下假设,我们可得到对应一个在1亿日活的应用需要的AI服务器的需求约为7716台。
H100网络结构各环节需求弹性测算
假设1单个应用的需求角度看,服务器潜在用量为7716台。
假设3网络结构比例按照单个SuperPOD方式部署,服务器交换机400G光模块800G光模块用量比例=10.375812。
假设4服务器价格参考性能提升的幅度,假设提升为50万美元;交换机假设单价较200G时期提升2.5倍,对应为5w美金,光模块假设400G光模块单个售价为400美金,800G光模块售价为1000美金。
分享:
请输入验证信息:
你的加群请求已发送,请等候群主/管理员验证。
数据来自赢家江恩软件>>
虚位以待
暂无
1人关注了该股票
长期未登录发言
吧主违规操作
色情、反动
其他
*投诉理由
答: 报告期内,公司不断加强各应用详情>>
答:2023-06-08详情>>
答:每股资本公积金是:2.17元详情>>
答:研究、开发、生产、销售计算机网详情>>
答:新易盛的概念股是:光通信、CPO、详情>>
两轮车概念逆势拉升,概念龙头股久祺股份涨幅8.68%领涨
目前券商行业跌幅0.82%收出下影小阴线,近半个月主力资金净流出144.19亿元
EDR概念上涨1.32%,神宇股份当天主力资金净流入3338.49万元
看月牙
AI驱动下光模块趋势展望及弹性测算
(报告出品方/作者国证券,马成龙)
01、传统光模块市场概述
光模块主要用于实现光、电号的转换
光模块是用于设备与光纤之间光电转换的接口模块。光模块主要用于实现光电号的转换。 光模块主要由光学器件和辅料(外壳、插针、PCB与控制芯片)构成。光学器件(包括光芯片和光学元件组件)约占光模块成本70%以上,辅料(外壳、插针、PCB与电路芯片等)占光模块总成本近30%。光发射组件TOSA一般包含激光二极管、背光监测二极管、耦合部件、TEC以及热敏电阻等元件。一定速率的电号经驱动芯片处理后驱动激光器(LD)发射出相应速率的调制光号通过光功率自动控制电路,输出功率稳定的光号。光接收组件ROSA一般包含光电探测器、跨阻放大器、耦合部件等元件。一定速率的光号输入模块后由光探测器转(PD/APD)换为电号,经前置放大器(TIA)放到后输出相应速率的电号。
光模块传统应用场景电网络和数据中心
电网络的光通应用1980年代光纤诞生以来,光通应用从骨干网到城域网、接入网、基站。目前国内传输网络基本完成光纤化,但数据在进出网络时仍需要进行光电转换;未来向全光网演进。
数据中心的光通应用1990年代开始,光通应用从中短距离的园区、企业网络延伸到大型数据中心的系统机架间、板卡间、模块间、芯片间应用。仍以光模块为例,据LightCounting数据,数通市场(以太网+光互连+光纤通道)收入占比在55%-60%左右。数据中心应用占比已经超过电市场。
据FROST&SULLIVAN预测,2020-2024年全球光模块市场规模预计从2020年的105.4亿美元增长到2024年的138.2亿美元,年复合增长率约为7.0%。应用于数通领域的光模块市场规模预计则由2020年的54.2亿美元快速增长 2024年的83.9亿美元,年复合增长率约为11.5%,其占比从51.4%进一步提高至60.7%。
电市场运营商5G资本开支平稳,光纤接入市场景气度高
无线侧用于5G资本开支预计2022年达到高点,后期逐步下行,电运营商的Capex具有周期性特点,在代际升级的主建设期,运营商 Capex会有明显的上升。
接入侧技术升级和渗透率提升带来持续需求。国内在政策驱动千兆光网渗透,海外大部分国家光纤接入率仍较低,具有明显提升空间; 技术上光纤接入步入10G-PON时代,带来持续新增需求。
根据LightCounting的数据,2020年FTTx全球光模块市场出货量约6289万只,市场规模为4.73亿美元,随着新代际PON的应用逐渐推广,预计至2025年全球FTTx光模块市场出货量将达到9208万只,年均复合增长率为 7.92%,市场规模达到6.31亿美元,年均复合增长率为5.93%。
交换机系统升级推动数通光模块迭代
数通市场交换机芯片产品升级节奏影响光模块升级部署。一般来说,从交换机芯片推出到光模块开始放量需要2-3年的时间。 博通首款32X100G交换机芯片2014年开始送样,亚马逊等北美云厂商2016H2起量部署100G光模块。 2017年底博通32X400G交换芯片Tomahawk3开始送样,亚马逊、谷歌等北美云厂商从2018年H2开始部署400G产品。2019年底具备25.6Tbps 交换能力的交换机芯片Tomahawk4发布,2020-2022年是400G光模块的快速起量期。 2022年博通和英伟达、思科等均有800G交换机布局。
光模块市场空间预计2026年超过170亿美元
2020年全球光模块市场规模80亿美元,未来五年预计稳步增长。根据LightCounting预测,2016-2018年光模块行业增长平缓,2019年后光模块升级加速,尤其2020年受疫情和新基建政策催化,电和数通市场需求强劲,全年光模块市场规模为80亿美元,同比增长23%。预计到2026年,全球光模块市场将超过170亿美元,2021-2026年的五年CAGR为14%。 分下游客户来看,数通客户市场规模超过电客户市场规模,是未来光模块行业的主要驱动力。根据Yole数据,2020年光模块市场中,数通市场规模约为电市场的1.2倍;2026年预计数通市场将为电市场2.6倍。
以太网光模块市场空间高速光模块放量是核心动力
以太网光模块的收入在光模块市场中占比将近一半,市场空间超过百亿美金。根据LightCounting最新报告,以太网光模块的销售额在2021年达到46.52亿美元,同比增长25%。预计2022年用户侧以太网光模块的营收增幅为 22.3%。未来随着新技术的发展和网络流量长期保持持续增长,以太网光模块销售额也将保持较快增长并不断迭代升级。预计到2026年,以太网光模块市场将达到88.51亿美元,约为全球光模块市场规模的52%。22-26年复合增速11.7%。高速以太网光模块(200G、400G和800G)是以太网光模块需求增长的核心驱动。2021年100G及以下的光模块收入规模约为30亿美元,在以太网光模块市场中占比64%。当前200G及以上光模块迅速放量,后续将成为增长主力。
市场格局变化国内厂商已占据领先位置
国内光模块企业全球地位持续提升。10G时代以北美光模块厂商为主,40G时代,中际旭创和AOI崛起,2021年中际旭创和II-IV成为出货量头部厂商。
国产厂商崛起原因分析(1)欧美日光模块厂商起步较早,专注于芯片和产品研发,部分厂商剥离低毛利的光模块业务,制造生产端产能逐步向以中国为代表的发展中国家转移;(2)国内光模块厂商依托劳动力成本、市场规模以及电设备商扶持等优势,在光模块封装、 测试等环节积累了大量实践经验,以中际旭创和新易盛为代表的国内厂商在竞争中取得份额突破,积极扩建产能;(3)云厂商采购模式变化和封装工艺的变化,带来行业洗牌机会。
技术演进趋势硅光子集成
硅光子技术意在提升光模块集成度。 基于标准硅制造的硅衬底材料,利用半导体晶圆材料可延展特性,采用CMOS 等工艺应用于光电一体集成器件制造。其物理架构由硅衬底激光器、硅衬底光电集成芯片、光纤等辅助物料封装构成。硅光技术的难点之一是集成激光器和调制器,PD各种被动器件,目前,相关技术主要包括独立激光器,混合集成, 异质集成,单片集成等。
硅光模块市场空间根据Yole预测,硅光模块市场将从2018年的约4.55亿美元增长到2024年的约40亿美元,复合年增长率达44.5%。
硅光行业市场格局Infinera是大规模InP PIC技术及产业的领导者;Intel、Luxtera等是硅基光子集成产业应用的引领者,Sicoya、 Rockley、Inphi、Acacia在硅基光电集成收发芯片的设计方面也较为领先,硅光模块封装环节依旧是传统光模块的封装厂商占主导。
02、AI驱动高速光模块迭代加快
AIGC等新场景有望成为新一轮的云基建建设驱动力
AIGC等新应用场景的出现,成为未来云基建投资的重要推动力。数据中心作为流量的基石,算力的重要载体,核心受益于算力和流量的扩张,近十年行业经历了几轮快速的发展增长,分别受益于移动互联网、疫情带来的线上流量增长等;随着AI等新应用场景的出现, 为行业赋予了新的增长动能,有望带动行业新一轮建设升级。
AI无人机、自言语言处理以及计算机视觉为主要应用场景
人工智能主要利用数字计算机或者由数字计算机控制的机器,模拟、延伸和扩展人类的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术和应用系统 。
AI的核心技术主要包含深度学习(DL)、计算机视觉(CV)、自然语言处理(NLP)和数据挖掘(DM)等, AI目前主要的应用场景包括医疗、无人机、自然语言处理和计算机视觉与图像处理等。
ChatGPT确立LLM模型的大参数和深度学习两大属性
ChatGPT的出现确立了大语言模型两个必备元素大参数+深度学习(Large&Deep) ChatGPT是基于自然语言处理(NLP)下的AI大模型,产品能够通过大算力、大规模训练数据突破AI瓶颈,通过理解和学习人类的语言来进行对话,并引入新技术RLHF 进一步提升了人工智能模型的产出和人类的常识、认知、需求、价值观保持一致。在在GPT模型出现之前,行业对于AI大模型的构建并没有取得较高关注,核心在于没看到模型展现出靠近人类的特征。GPT模型首次展示出了通过深度学习和大模型参数的输入,AI模型可以涌现出靠近人类的特征。 一般认为模型的思维推理能力与模型参数大小有正相关趋势,一般是突破一个临界规模(大概62B,B代表10亿),模型才能通过思维链提示的训练获得相应的能力。如果在6B以下,那很可能还只是GPT-2级别的初级模型。
AI大模型下,网络结构向低延时高速率演进
AI模型作为高性能计算业务,强调低时延高速率,通常由IB网络承载。 数据中心内部有三类典型的业务通用计算(一般业务)、高性能计算(HPC)业务和存储业务。每类业务对于网络有不同的诉求,比如HPC业务的多节点进程间通,对于时延要求非常高;而存储业务对可靠性诉求非常高,要求网络0丢包;通用计算业务规模大,扩展性强,要求网络低成本、易扩展。由于上述业务对网络的要求不同,数据中心内部一般会部署三张不同的网络由IB(InfiniBand)网络来承载HPC业务,由FC(Fiber Channel)网络来承载存储网络,由以太网来承载通用计算业务。
数据中心从云时代进入AI时代。在企业数字化转型的大背景下,数据资产逐步成为企业的核心资产。和云计算时代比,AI时代企业数据中心 的使用正在聚焦业务快速发放向聚焦数据高校处理转变。未来满足在AI时代下数据高效处理诉求,0丢包、低时延、高吞吐成为AI数据中心核心考核指标。
Infiniband高速网络,大模型下优选网络技术
以太网是一种广泛使用的网络协议,但其传输速率和延迟无法满足大型模型训练的需求。相比之下,端到端IB(InfiniBand)网络是一种高性能计算网络,能够提供高达 400 Gbps 的传输速率和微秒级别的延迟,远高于以太网的性能。这使得IB网络成为大型模型训练的首选网络技术。
Infiniband网络(IB网络)是指通过一套中心 Infiniband 交换机在存储、网络以及服务器等设备之间建立一个单一的连接链路, 通过中心 Infiniband 交换机来控制流量,能够降低硬件设备间数据流量拥塞,有效解决传统 I/O结构的通传输瓶颈,还能与远程存储设备和网络设备相连接。
端到端IB网络还支持数据冗余和纠错机制,能够保证数据传输的可靠性。在处理大模型中较多的数据时,数据传输错误或数据丢失可能会导致训练过程中断甚至失败,因此保证传输的可靠性尤为重要,而IB网路有效实现了保证。
03、ChatGPT场景下需求弹性测算
A100网络结构解析
AI大集群数据中心的方案部署通过切分基本单元进行部署,每个基本单元英伟达定义为SuperPOD。 对于一个网络集群的用量测算逻辑需要关注三个关键指标:1)单集群服务器个数;2)网络拓扑结构(决定交换机和光模块用量); 3)交换机速率(决定光模块速率上限) 每个DGX A100 SuperPOD基本部署结构息为 140台服务器(每台服务器8张GPU)+交换机(每台交换机40个端口,单端口200G) 网络拓扑结构为IB fat-tree(胖树),交换机速率为200Gb/s。
根据A100的端口来看,一共分为四个网络,计算网络(compute)、存储网络(storage)、In-band管理网络和out-of-band管理网络,其中计算侧的端口数为8个,存储两个,In-band两个,out-of-band 1个,一共13个端口。 考虑到光模块的用量集中在计算侧,我们仅针对计算网络的需求进行光模块用量测算。
关于网络拓扑结构英伟达在计算网络部分选择了无收敛胖树,无收敛胖树的结构的特点在于上下行的端口数是完全一致的,所以只要知道其中一层的网络的连接线缆数就可以推算出每一层网络的线缆数。
关于网络结构的层数针对于80台及以下A100服务器集群,一般会进行两层网络结构部署(服务器-leaf层交换机-Spine层交换机), 针对140台服务器,会进行三层网络结构部署(服务器-Leaf层交换机-Spine层交换机-Core层交换机)。 140台服务器三层交换机的部署数量分别为56台-80台-28台,一共是164台交换机。 每层交换机对应的线缆数分别为1120根-1124根-1120根。 假设服务器和交换机之间采用铜缆,其余采用AOC或者光纤,均使用光模块, 所以光模块的需求为 (1124+1120)*2=4488个。 一个基本单元内各网络硬件需求比例 交换机光模块=1401644488=11.2=32.1。
A100网络结构各环节需求弹性测算
基于下游应用呈现规模角度,即按照单GPT4.0模型对于服务器需求用量测算。
假设1单个应用的需求角度看,服务器潜在用量为1.5万台。
假设2全球假设国内和海外有潜在20家公司可能形成同样类型规模应用。
假设3网络结构比例按照单个SuperPOD方式部署,即服务器 交换机光模块的用量比例=11.232.1。
假设4服务器价格参考英伟达价格,为20万美元;交换机结合 Mellanox售价,假设为2.5-3w美金,光模块根据交换机速率,现在主流为200G,假设单个售价为250美金。
从A100到H100,性能全面提升
2023年一季度英伟达发布A100下一代H100 GPU方案,性能全面提升,主要体现在以下几个方面 新增FP8数据类型和新的Transformer引擎相结,与 A100 GPU 相比,提供6倍的吞吐量。Transformer Engine明显加速了基于 Transformer的模型(例如大型语言模型)的AI计算。 H100拥有18个第四代NVLink 互连,提供900GB/秒的总带宽,是A100 GPU 600 GB/秒总带宽的1.5倍,是 PCIe Gen5 带宽的 7倍。 NVSwitchH100采用全新的第三代NVSwitch,提供64个第四代NVLink互连端口,加速节点内GPU通;节点外的二级 NVSwitch 互连支持具有地址空间隔离和保护的大型 NVLink 域(最多32个节点或256个GPU),并提供57.6TB/秒的全部带宽。
算力角度,H100服务器用量需求测算
从用户使用角度来测算,我们对于服务器算力的测算受大模型参数,日活人数,每日每人提问等多因素影响。和A100时期的不同,需求测算的参数有以下更改关于单台H100服务器的算力A100时期,在FP16位时,单台A100的算力处理能力为5 PFLOPS,在H100时,首先新增FP 8位,对应算力能力提升到23 PFLOPS,提升了6倍,在FP16位时对应算力能力为15PFLOPS,考虑到模型调用时会存在不完全使用FP8位置,折中选择单台H100的算力处理能力为20PFLOPS。关于每人每天提问字数,考虑到算力的提升以及模型升级为多模态,假设提问字数升级为5000字。基于以下假设,我们可得到对应一个在1亿日活的应用需要的AI服务器的需求约为7716台。
H100网络结构各环节需求弹性测算
基于下游应用呈现规模角度,即按照单GPT4.0模型对于服务器需求用量测算。
假设1单个应用的需求角度看,服务器潜在用量为7716台。
假设2全球假设国内和海外有潜在20家公司可能形成同样类型规模应用。
假设3网络结构比例按照单个SuperPOD方式部署,服务器交换机400G光模块800G光模块用量比例=10.375812。
假设4服务器价格参考性能提升的幅度,假设提升为50万美元;交换机假设单价较200G时期提升2.5倍,对应为5w美金,光模块假设400G光模块单个售价为400美金,800G光模块售价为1000美金。
报告节选
分享:
相关帖子