不到一个小时就能创建一个AI模型,这相当于不到一个小时创造一个虚拟角色!英伟达宣布了一项新纪录:BERT模型的训练时间被缩短至不足一小时。BERT是全球领先的人工智能语言模型之一,也是自然语言处理(NLP)领域的重要标杆。借助英伟达的AI平台,BERT模型的训练仅需53分钟即可完成。训练好的模型在进行推理时,能够在2毫秒左右的时间内给出准确的结果——再次刷新了行业标准。
这些突破不仅仅是技术上的成就,它们为利用NLP对话式AI和GPU硬件的用户带来了实际的好处。英伟达在其SuperPOD系统上创造了这一训练速度的新纪录,该系统由92台搭载1472个V100 GPU的Nvidia DGX-2H服务器组成。推理过程则是在配备Nvidia TensorRT的Nvidia T4 GPU上完成的。相比高度优化的CPU,Nvidia TensorRT在性能上具有显著优势。此外,英伟达将公开BERT训练代码和经过TensorRT优化的BERT样本,使任何人都可以通过GitHub来应用这些资源。
除此之外,英伟达的研究团队还开发并训练了迄今为止最大的基于“Transformer”架构的语言模型。这个模型是BERT技术的基础,拥有高达83亿个参数,规模是目前最大版本BERT-Large的24倍。英伟达将此模型命名为“Megatron”,并发布了用于训练该模型的PyTorch代码,以便其他人也能训练出类似的大型语言模型。