单卡支持大模型 首个高稀疏率AI计算卡S100在浪潮内测中表现优异
刘瑜
2023-01-02 09:37:41
图灵汇官网
墨芯人工智能发布全球首颗高稀疏率AI计算卡S100
墨芯人工智能,作为行业内的佼佼者,于2022年7月5日首次公布了其研发的SparseOne S100在浪潮服务器中的测试数据。这款AI计算卡,以其独特的高稀疏率设计,一举超越了国际大厂主流AI推理卡的性能,实现了令人瞩目的六倍提升。不仅如此,S100在能效比、功耗控制和计算精度方面同样表现出色,展现出其在AI领域的广泛适用性和卓越性能。
核心亮点:
- 性能跃升:S100在运行AI主流模型时,性能表现超出国际大厂主流AI推理卡六倍,展示了其在复杂AI任务处理上的强大实力。
- 突破性应用:这款计算卡不仅在性能上领先,更解决了大模型推理面临的时间长、功耗高、成本高等问题,单卡即可应对千亿级别的大模型,颠覆了传统分布式处理模式。
- 通用性与兼容性:S100适用于数据中心、互联网、运营商、生命科学等多元场景,展现了其在不同领域内的广泛适用性。
- 稀疏化计算技术:墨芯人工智能依托稀疏化算法,打造了高效的云端和终端AI计算加速方案,显著提高了计算效率,降低了能耗,提升了精度,为企业提供了性价比极高的AI计算解决方案。
推动AI计算生态建设
墨芯人工智能不仅专注于技术创新,还致力于构建全面的AI计算生态系统。通过与战略投资者浪潮的合作,双方携手推动AI计算技术的发展和应用,共同促进稀疏化计算生态的繁荣。
实测数据与性能表现
- T5-8B模型测试:S100在单机单卡环境下,成功运行了参数量巨大的T5-8B模型,展现出了强大的单卡算力,高达141.8 SPS,证明了其在处理高参数量模型方面的卓越性能。
- BERT与ResNet-50模型:在自然语言处理领军模型BERT和图像分类识别模型ResNet-50上,S100的性能同样亮眼,相比国际大厂主流AI推理卡,分别达到了6倍以上的提升,显示了其在不同AI模型上的广泛适用性和高效计算能力。
结论
S100的发布标志着AI计算领域的重大突破,其不仅提升了AI模型的处理效率,还优化了能效比和功耗,为企业用户提供了高性价比的AI计算解决方案。通过稀疏化计算技术的创新应用,墨芯人工智能正引领着AI计算产业的新潮流,为企业数字化转型和科技创新提供强大动力。