图灵汇官网

2018年自然语言处理（NLP）领域的亮点

2018年是自然语言处理领域取得重大进展的一年。在这篇文章中，我们将探讨NLP在情感分析、强化学习和深度学习等方面的重要进展。本文由计算语言学专家Elvis Saravia撰写，他是2019年计算语言学会年度大会北美分会的项目委员之一。

综合范畴

• 机器翻译
  Facebook的研究人员开发了一种仅需单语料库即可实现机器翻译的新方法，这对资源匮乏的语言特别有用。Bloomberg的研究员Yi Yang发布了一篇关于RNN卷积选择建模的论文，展示了语言中的长期依赖性和组合性。百度推出了Deep Voice 3，这是一种基于注意力机制的全卷积文本到语音转换系统，显著提高了神经语音合成的速度。Pair2vec则是一种学习词嵌入对的新方法，能够捕捉隐含关系的背景知识。百度还推出了一种名为STACL的机器翻译算法，可以同时进行多种语言的翻译，尤其在同声传译方面表现出色，不需要等待发言者暂停即可预测下一个单词。

• 自然语言生成（NLG） 蒙特利尔大学的AI研究团队MILA发表了一系列研究成果，揭示了GAN在自然语言生成任务中的局限性。聊天机器人是NLP的一个重要研究领域，lang.ai公司利用无监督AI解决了构建聊天机器人的关键挑战之一——理解用户的真正意图。谷歌AI团队发表了一篇关于语言建模极限的论文，而亚马逊的研究人员提出了一种新的语言建模方法，强调了在实际应用中获取大量训练数据的困难。

强化学习

• 强化学习的应用 很多研究人员都认为强化学习是机器学习的前沿。在2018年，该领域出现了许多重要进展。例如，David Ha的“世界模型”旨在研究个体是否可以通过自己的“梦境”来学习，这需要借助强化学习来掌握规则，并通过从世界模型中提取的特征解决指定任务。OpenAI开发了一个类似人类的手部模型，通过强化学习算法实现了灵活的操作。DeepMind在《自然》杂志上发表了一篇论文，讨论了在虚拟环境中，通过矢量导航解决任务的问题。TextWorld是一个以文字游戏为基础的学习环境，用于训练强化学习代理。

• 强化学习在各领域的应用 Google的研究人员开发了一种名为MnasNet的技术，这是一种通过强化学习设计移动设备上的机器学习模型的自动化方法。OpenAI Five在复杂的游戏中Dota 2中击败了专业玩家，展示了其在多任务环境下的高精度。DeepMind开发了名为PopArt的技术，同样通过强化学习在多任务环境中取得了优异表现。三星的CozNet是一种强化学习算法，在知名NLP竞赛中表现优异。Arel使用对抗奖励学习来讲述故事，解决了故事评估维度的局限问题。Metacar是为无人驾驶汽车设计的一种强化学习环境，使用Tensorflow.js在浏览器上运行。OpenAI发布的Gym Retro平台提供了1000多个游戏，用于强化学习研究。

情感分析

• 情感分析的发展 为了使机器学习系统更好地理解人类的情感，情感分析变得越来越重要。一篇新论文提出了“层级化条件变分自编码器（CVAE）用于精确的仇恨言论分类”，可以识别40多个群体和13种不同类别的仇恨言论。另一篇论文讨论了如何使用简单的支持向量机变量获得最佳结果，并指出模型选择方面的注意事项。目前大多数情感分析都基于神经网络方法，因此在模型和特征选择方面需要特别注意。此外，一篇论文定量分析了Twitter表情肤色修改器的效果。

• 情感分析的新方法 另一篇论文探讨了如何使用深度卷积神经网络检测讽刺。此外，一项新的研究使用眼动追踪、NLP和深度学习算法来检测讽刺。研究人员还开发了一种称为“情感聊天机器人”的方法，不仅能给出符合逻辑和现实的答案，还能在对话中融入悲伤、厌倦等情绪。Zhang Lei等人发表了一篇论文，综述了深度学习方法在情感分析中的应用。这项研究采用双向异步框架，可以生成有意义的情感回复。这项研究还使用计算机视觉方法，研究语境中的情感识别。在2018年的NAACL会议上，研究人员提出了一种使用简单的递归神经网络模拟情感流的方法。

深度学习

• 深度学习的新发现 DeepMind与哈佛大学的Wouter Kool合作，发表了一篇论文，探讨人类如何利用大脑做出决策，以及这些研究结果如何启发人工智能的研究。这篇论文引入了“组归一化”的概念，可以替代批归一化，被认为是深度学习的重要技术。Sperichal CNN是一种构建卷积神经网络的新方法。BAIR发布了一篇文章，讨论了当前循环神经网络和前馈神经网络在处理各种问题时的优势和劣势。Facebook的AI研究小组开发了一种新技术，能够将AI模型的运行效率提高16%，从而加快训练速度并简化模型的量化和运行。《自然》杂志上的一篇论文介绍了一种利用深度学习预测地震后余震位置的方法。DeepMind的研究人员开发了一种新方法，使用神经算术逻辑单元（NALU）改进神经网络，以便跟踪时间、处理数字图片运算和计数等任务。DARTS是一种架构搜索算法，可以设计高性能的图像分类卷积架构。一篇论文讨论了CNN和RNN在序列建模中的区别。图形神经网络如何帮助推断潜在的关系结构、模拟多代理和物理动态。谷歌AI研究团队发布了一篇论文，提出了一种改进版的RNN，可以提高自动数据解释的准确性。Distill发布了一篇新论文，可以在一个数据源的背景下分析另一个数据源。

• 深度学习的其他研究 如果没有数据和人类知识工程，是否有可能学习到精确的认知模型？这篇论文详细描述了深度神经网络中批归一化的研究。另一篇论文回顾了神经网络中更好的批处理方法。还有一篇论文讨论了如何正确评估深度半监督学习算法。

本文由阿里云云栖社区组织翻译，原文标题为《NLP Highlights of 2018》，译者为炫，审校为袁虎。