大模型对算力需求影响几何交流核心要点-------

大模型对算力需求影响几何交流核心要点

-----------------------------------------

嘉宾国内头部 AI 芯片厂商 研发高级经理

1.大模型对算力的需求主要体现在训练端在考虑互联损失的情况下，Chatgpt 需要一万 张 A100 作为算力基础，算力的硬件投资规模达到 10 亿人民币

2.国内大模型与国外的主要差距是算力层面，没有算力基础，后面算法等发展都无法进行

3.大模型应用场景会率先爆发于工具链层面，如 ChatGPT 和 Office 产品结合，提高交互和工作效率；语音交互层面，如智能音箱、智能座舱和智能家居等

4.国内 AI 芯片厂商格局一梯队，有成熟产品、批量出货的企业，包括寒武纪、华为海思、百度昆仑芯、燧原科技等；二梯队，以 AI 芯片起家的壁仞科技、天数智心、摩尔线程、沐曦等；三梯队，如海光、景嘉微等

5.国内 AI 芯片与 A100 的差距已经批量生产的产品，大多都是 A100 的上一代；各公司正在研发的相关产品，如昆仑芯三代、思远 590、燧思 3.0 等，都是对标 A100，但由于 “实体清单”的限制以及研发水平的原因，都还没有推到市场

6.寒武纪思元 590 与英伟达的差距寒武纪主要还是 ASIC 架构，劣势是通用性会比较差，优势是某些特定应用场景下，算力可以做到比 GPU 更高；百度内部的测试结果，590 性 能接近 A100 90%的性能；590 基本支持主流的模型，综合性能接近 A100 80%的水平

7.英伟达 A800 和 H800 的出货量预期训练芯片，国内将有近 200 亿 RMB 的采购规模；推理芯片，预计采购金额达 100 亿 RMB；国内对英伟达总的采购需求约为 300 亿 RMB