人工智能的迅猛发展推动了许多相关应用的进步,使得各种人工智能产品层出不穷。数字助理、语音识别、文字处理等应用不断涌现。
为了改善人机交互体验,开发者们一直在努力优化自然语言理解系统。这种系统主要通过自然语言处理技术将文本转化为计算机可以理解的语义表示形式。
要使自然语言理解系统有效运行,需要训练相应的自然语言理解模型,这些模型可以被视为系统的“大脑”。最近,微软提出了一项专利(专利公开号:CN107924393A),该专利提供了关于训练和使用自然语言理解系统的系统和方法。
这项专利介绍了一种利用分布式网络上的特征提取器来训练自然语言理解系统的系统和方法。该系统由多台服务器组成,这些服务器通过分布式网络相互连接,从而提高了整体性能和计算资源利用率。
这个分布式系统主要由三个部分构成:客户端设备、不同特征提取器的服务器以及自然语言理解服务器(LU服务器)。客户端设备充当自然语言理解系统的外部接口,负责输入数据和接收处理后的信息。
LU服务器包含LU解码器和LU模型。LU解码器的主要功能是对原始文本数据进行预处理,并将其转换为适合LU模型的输入数据。特征提取器则负责从数据中提取特定的特征,包括数据分布特征、统计数据特征及特有的数据特征。
众所周知,算法模型的预测准确性与特征提取密切相关。特征提取得越精准,训练出的算法就越准确。自然语言理解系统的构建首先需要训练LU模型。LU模型的训练流程图展示了这一过程。
整个分布式服务器系统通过分布式网络向多个特征提取器发出针对特定任务的训练特征请求。特征提取器从数据中提取出每个训练特征,然后LU服务器利用这些特征应用训练算法来估计自然语言理解模型的参数,最终形成自然语言理解模型。
训练完成后,接下来是如何使用已经训练好的自然语言理解模型。具体使用流程如图所示。
整个系统依赖于客户端接收用户输入的文本,随后通过LU服务器中的LU解码器对文本进行预处理,再向各个特征提取器发送请求以提取已预处理的输入文本的特征。特征提取完毕后,各特征提取器将提取的潜在特征反馈给LU服务器,LU解码器将这些特征转换为LU模型的输入数据,LU模型根据输入数据生成响应并反馈给客户端设备。
自然语言理解模型的训练算法是一个耗时且耗费资源的过程,需要大量的计算资源如GPU和充足的内存。然而,随着分布式网络技术的发展,现在可以通过集合多台计算机的算力共同训练算法,从而使训练过程得以并行化,大幅缩短训练时间。