大模型对算力需求影响几何交流核心要点-------

大模型对算力需求影响几何交流核心要点

-----------------------------------------

嘉宾国内头部AI芯片厂商 研发高级经理

1.大模型对算力的需求主要体现在训练端在考虑互联损失的情况下，Chatgpt需要一万张A100作为算力基础，算力的硬件投资规模达到10亿人民币

2.国内大模型与国外的主要差距是算力层面，没有算力基础，后面算法等发展都无法进行

3.大模型应用场景会率先爆发于工具链层面，如ChatGPT和Office产品结合，提高交互和工作效率；语音交互层面，如智能音箱、智能座舱和智能家居等

4.国内AI芯片厂商格局一梯队，有成熟产品、批量出货的企业，包括寒武纪、华为海思、百度昆仑芯、燧原科技等；二梯队，以AI芯片起家的壁仞科技、天数智心、摩尔线程、沐曦等；三梯队，如海光、景嘉微等

5.国内AI芯片与A100的差距已经批量生产的产品，大多都是A100的上一代；各公司正在研发的相关产品，如昆仑芯三代、思远590、燧思3.0等，都是对标A100，但由于“实体清单”的限制以及研发水平的原因，都还没有推到市场

6.寒武纪思元590与英伟达的差距寒武纪主要还是ASIC架构，劣势是通用性会比较差，优势是某些特定应用场景下，算力可以做到比GPU更高；百度内部的测试结果，590性能接近A100 90%的性能；590基本支持主流的模型，综合性能接近A100 80%的水平

7.英伟达A800和H800的出货量预期训练芯片，国内将有近200亿RMB的采购规模；推理芯片，预计采购金额达100亿RMB；国内对英伟达总的采购需求约为300亿RMB