图灵汇官网

2018年自然语言处理领域的亮点

2018年对于自然语言处理（NLP）而言是一个充满突破的一年，涌现了许多新的研究方向和前沿成果。Elvis Saravia，一位计算语言学专家，同时也是2019年北美计算语言学会会议的项目委员之一，总结了2018年NLP的重要进展，涵盖了增强学习、情感分析和深度学习等多个领域。

综合领域

• Facebook的研究人员开发了一种全新的机器翻译方法，仅需使用单一语言语料库，这对缺乏语言资源的情况特别有用。此外，Bloomberg的Yi Yang也发布了关于RNN卷积筛选建模的最新论文及代码，展示了语言中的长期依赖性和组合性。百度则推出了Deep Voice 3，这是一种基于注意力机制和全卷积的文本到语音转换系统，相比现有的循环系统，其合成神经语音的速度快了很多倍。另一项值得注意的是Pair2vec，这是一种学习文字嵌入对的新方法，能够捕捉隐含关系的背景知识。百度还推出了一种名为STACL的机器翻译算法，能够同时进行多种语言的翻译，并且在同声传译过程中可以提前预测发言者的下一个词语。Deep INFOMAX是一种无监督表示学习方法，旨在最大化输入与高层特征向量之间的共同信息。

• 蒙特利尔大学的MILA团队发表了多项引人注目的研究成果，探讨了GAN在自然语言生成任务中的限制。在聊天机器人领域，创业公司lang.ai展示了一种使用无监督AI的新方法，能够更好地理解用户的意图。谷歌AI团队也发布了一篇论文，探索语言建模的极限。亚马逊的研究人员提出了一种新的语言建模方法，强调了在实际应用中获取大量训练数据的困难性。

增强学习

增强学习被认为是机器学习中最前沿的技术之一。2018年，该领域取得了不少重要进展： - David Ha的“世界模型”研究了个体是否能够在自身梦境中学习，这一过程需要通过增强学习来掌握规则，并依靠从世界模型中提取的特征来解决问题。OpenAI开发了一种类似人类的手部机器人，通过增强学习算法获得了操作物体的灵活性。DeepMind在《自然》杂志上发表了一篇论文，探讨了虚拟环境中，个体如何通过矢量导航找到解决方案。TextWorld是一种基于文字游戏的学习环境，旨在训练增强学习代理。Google的研究人员开发了一种名为MnasNet的技术，这是一种自动化神经网络架构搜索方法，通过增强学习设计适用于移动设备的机器学习模型。OpenAI Five利用增强学习，在复杂的电子游戏中击败了业余人类选手。DeepMind还开发了一种名为PopArt的技术，用于在多任务环境中实现高精度。三星的CozNet是一种增强学习算法，表现出色。Arel使用对抗奖励学习来讲述故事，解决了故事评估的局限性。Metacar是一款为无人驾驶汽车设计的增强学习环境，可在Tensorflow.js构建的浏览器中运行。OpenAI发布的Gym Retro平台提供了超过1000款游戏，用于增强学习研究。

情感分析

为了使机器学习系统具备更深的理解能力，以便与人类在情感层面上互动，研究人员做出了诸多努力： - 一篇新论文介绍了“层级化条件变分自编码器”（Hierarchical CVAE），用于精确的仇恨言论分类，能够识别40多个群体和13种不同类型的仇恨言论。另一篇论文讨论了如何使用简单的支持向量机变量获得最佳结果，并指出在选择模型和特征时应注意的问题。目前大多数情感分析都是基于神经方法，研究时需关注模型和特征的选择。此外，还有研究探讨了推特表情符号肤色修改器的效果。另一篇论文讨论了如何使用深度卷积神经网络检测讽刺，并指出这项新研究结合了眼动追踪、NLP和深度学习算法。研究者还开发了一种称为“情感聊天机器人”的方法，不仅能够提供事实和逻辑上的答案，还能在对话中添加悲伤或厌倦等情绪。Zhang等人发表了一篇论文，总结了深度学习方法在情感分析中的应用。双向异步框架可以在对话中生成有意义的情感回复。研究还使用计算机视觉方法来研究语境中的情感识别。一篇在2018年NAACL会议上发表的论文提出了一种方法，可以使用简单的递归神经网络模拟情感流。

深度学习

深度学习在2018年同样取得了显著进展： - DeepMind与哈佛大学教师Wouter Kool合作发表了一篇论文，探讨了人类如何利用大脑做出决策，以及这些研究结果如何启发人工智能的发展。该论文引入了“组归一化”的概念，作为批归一化的替代方案，被视为深度学习的一项关键技术。Sperichal CNN是一种构建卷积神经网络的新方法。BAIR发布了一篇文章，比较了循环神经网络和前馈神经网络在解决各种问题时的优势和劣势。Facebook的AI研究团队开发了一种新技术，可以将AI模型的运行效率提升16%，从而加快模型训练速度并简化模型的量化和运行。一篇《自然》杂志的论文介绍了一种预测地震余震位置的深度学习方法。DeepMind的研究人员开发了一种新方法，通过神经算术逻辑单元（NALU）改进神经网络，用于追踪时间、执行算术运算和计数图片中的对象数量。DARTS是一种架构搜索算法，可以设计高性能的图像分类卷积架构。一篇论文讨论了在序列建模中通用卷积网络和神经网络的区别。图形神经网络如何帮助推断潜在的关系结构，模拟多代理和物理动力学。谷歌AI研究团队发布了一篇论文，提出了一种改进版的RNN，可以提高自动数据解释的准确性。Distill发布了一项新研究，可以在一个数据源的上下文中分析另一个数据源。

本文由阿里云云栖社区组织翻译。

文章原标题《NLP Highlights of 2018》，译者：炫，审校：袁虎。