图灵汇官网

摘要：

MLCommons今日发布了针对60亿参数GPT-J的MLPerf推理v3.1性能基准测试报告，结果涵盖了Habana Gaudi 2加速器和第四代英特尔至强可扩展处理器的表现。

正文：

MLCommons公布了一份关于60亿参数GPT-J的MLPerf推理v3.1性能基准测试报告，测试结果显示了两种不同的硬件平台——Habana Gaudi 2加速器与第四代英特尔至强可扩展处理器的表现。在这份报告中，英特尔贡献了基于第四代英特尔至强可扩展处理器的七项推理基准测试，其中包含了对GPT-J模型的评估。

结果显示，第四代英特尔至强可扩展处理器在视觉、语言处理、语音和音频翻译等多个领域展现出卓越的性能，特别是对于更大型的DLRM v2深度学习推荐模型和ChatGPT-J模型。值得注意的是，英特尔目前是唯一一家使用行业标准深度学习生态系统软件提交公开CPU结果的公司。第四代至强处理器被证明是构建和部署通用人工智能工作负载的理想选择，它们兼容流行的人工智能框架和库。

在特定任务上，例如将大约1000-1500字的新闻稿总结为100字，第四代至强可扩展处理器在离线模式下每秒可完成两个摘要提要，而在实时服务器模式下则每秒一个。此外，英特尔首次提交了基于英特尔至强CPU Max系列的MLPerf结果，该系列支持高达64GB的高速内存。这一系列的处理器在GPT-J应用中达到了99.9%的准确性，这对于对精确度要求极高的应用至关重要。

英特尔与OEM合作伙伴共同提交了测试结果，这不仅体现了其在AI性能方面的可扩展性，也凸显了基于英特尔至强处理器的通用服务器在满足客户服务水平协议（SLA）方面的可用性。通过这些合作，英特尔展示了其在推动AI技术发展的领导地位和对行业标准的承诺。

结论：

MLPerf是一个备受推崇的AI性能基准测试，旨在实现公平且可重复的产品性能比较。随着英特尔计划在下一阶段的MLPerf测试中提交AI训练性能的结果，业界对其在AI领域的持续创新和领先地位充满期待。