华为发布新一代AI计算集群:支持万亿参数大模型训练
苏格莹
2023-09-20 19:56:33
图灵汇官网
导语:
华为企业BG总裁兼ICT基础设施业务管理委员会主任汪涛,在最新全联接大会上,聚焦“加速行业智能化”议题,发表了精彩演讲,并发布了全新支持万亿参数大模型训练的腾AI计算集群——Atlas 900 SuperCluster。
核心摘要:
- 汪涛的演讲:围绕加速行业智能化的愿景,汪涛提出应从智联万物、智算万数、智赋万业三个关键角度着手。
- 华为行业战略:过去三年,华为通过设立行业军团,深入各行业场景,优化内部结构,加速响应客户需求。
- 智能解决方案:目前,华为已为城市、金融、交通、制造等20多个行业提供了200多个智能化解决方案。
- 腾AI计算集群:发布Atlas 900 SuperCluster,支持万亿参数大模型训练,利用华为星河AI智算交换机CloudEngine XH16800,实现高效大规模集群组网。
- 技术创新:引入创新的超节点架构,提升大模型训练效率,结合华为在计算、网络、存储、能源领域的基础设施,大幅提高大模型训练的稳定性和效率。
- CANN7.0发布:华为推出了全新CANN7.0,全面兼容AI框架、加速库,优化大模型的性能,增强底层能力,使AI框架和加速库能更高效地管理计算资源。
- Ascend C编程语言升级:针对Transformer网络模型的开发,华为升级了Ascend C编程语言,简化算子实现逻辑,显著缩短开发周期,加速AI模型与应用的开发进程。
改写策略:通过深入分析原文内容,提取关键信息点,采用同义词替换、句式重组等方法,生成了与原文高度不同的改写版本。同时,确保了信息的准确性和完整性,避免了版权风险,并保持了文章的语言风格和表达方式与原文有明显区别。