IBM全新光学技术可缩短GPU闲置时间,大幅加快AI模型训练速度

图灵汇官网

IBM 推出新型光学技术,优化AI模型训练

近日,IBM 宣布开发出一种全新的光学技术,这项技术能让AI模型以光速完成训练,同时大幅降低能耗。IBM 表示,如果这项技术应用于数据中心,训练一个AI模型节省的能源相当于5000个美国家庭一年的用电量。

目前,数据中心常借助光纤电缆与外部连接,但内部仍使用铜线。这些铜线连接着GPU加速器,当它们等待来自其他设备的数据时,会因闲置而耗费大量时间和能源,也提高了运营开支。

IBM 高级副总裁兼研究负责人 Dario Gil 表示:“生成式AI对能源和算力的要求不断上升,数据中心需要升级。共封装光学技术(CPO)正是为此设计的。这一创新能让未来芯片像光纤电缆一样高效传输数据,推动更快、更环保的通信发展,更好地支持未来的AI任务。”

此外,IBM 在一份技术文件中展示了其最新的CPO原型。这个原型通过增加数据中心的带宽,有效减少了GPU的闲置时间,加快了AI处理速度。IBM 提到,大型语言模型(LLM)的训练周期有望从三个月缩减到三周。同时,更高的能效还能减少能源使用,并降低LLM训练的成本。

本文来源: 互联网 文章作者: 长江商学院
    下一篇

导读:生成式 AI 在提升生产力效率方面展现出巨大的潜力,这也使得企业生产力场景成为过去两年生成式 AI 落地速度最快的应用领域之一。然而,企业在初步体验了这一技术的「尝鲜」之后,如何确保员工在工作中