「专利解密」这个专利告诉你如何训练自然言语了解系统

图灵汇官网

近年来,人工智能技术的飞速发展催生了各种创新的人工智能应用。从数字助手到语音识别,再到文本处理工具,各类产品层出不穷。在这个过程中,计算机和应用程序开发者们不断努力改进人机交互体验,其中最关键的部分就是自然语言理解系统。

自然语言理解系统主要利用自然语言处理技术,将文本转化为计算机可以理解的语义表示形式。为了使自然语言理解系统有效运行,需要训练出特定的自然语言理解模型,这些模型相当于系统的“大脑”。

近期,微软提出了一项专利申请,公开号为CN107924393A,该专利涉及训练和使用自然语言理解系统的系统和方法。具体来说,该专利介绍了一种利用分布在不同服务器上的特征提取器的分布式网络来训练自然语言理解系统的方法。

这项专利描述的系统架构包括三大部分:客户端设备、负责特征提取的不同服务器以及自然语言理解服务器(LU服务器)。客户端作为外部接口,负责提供输入数据和接收处理结果。LU服务器包含LU解码器和LU模型,其中LU解码器负责初步的数据预处理并将文本数据转化为适合LU模型的输入格式。

在分布式网络中,特征提取器负责根据特定的数据分布规律提取关键特征,包括数据分布特征、统计数据特征和特定特征。这些特征对于提高模型预测准确性至关重要。构建自然语言理解系统的第一步是训练LU模型,这一过程如图2所示。

训练过程中,分布式服务器系统通过网络向多个特征提取器发出请求,提取特定任务所需的特征。随后,LU服务器基于这些特征使用训练算法估计出自然语言理解模型的参数,最终形成LU模型。

完成模型训练后,接下来的问题是如何有效地使用这个已经训练好的模型。具体的使用流程如图3所示。系统通过客户端接收用户输入的文本,然后由LU服务器中的LU解码器进行预处理,接着向各个特征提取器发出提取特征的请求。特征提取完成后,这些特征被反馈给LU服务器,经过LU解码器转换成适合LU模型的输入数据,从而生成相应的响应数据并返回给客户端。

自然语言理解模型的训练是一个耗时且消耗大量计算资源的过程,特别是需要高性能的GPU和充足的内存来加载训练数据。然而,得益于分布式网络的发展,现在可以通过多台计算机协同工作来加速训练过程,实现并行化处理,从而显著缩短训练时间。

本文来源: 图灵汇 文章作者: 于越