论文 | 自然语言处理顶会ACL 2018该关注什么?蚂蚁金服专家...
翟辰绪
2018-08-06 23:12:42
图灵汇官网
小蚂蚁分享:ACL 2018 会议回顾与精选论文解读
前言
今年的ACL会议于7月15日至20日在澳大利亚墨尔本举行。作为自然语言处理领域的顶尖会议,此次会议吸引了来自全球各地的1500名专业人士参与。蚂蚁金服的技术专家们参加了此次盛会,并分享了他们在会议期间的观察与思考,对多篇优秀论文进行了深入解读。
会议概况
本届ACL共收到了1544篇投稿,其中1018篇长论文中录取了258篇,526篇短论文中录取了126篇,总体接受率为24.9%。大多数论文都基于神经网络技术,但也有研究展示了神经网络在实际应用中的局限性。例如,华盛顿大学的Yejin Choi教授通过一个有趣的演示揭示了神经网络大规模应用仍需克服的挑战。
最佳论文奖
今年的最佳论文主要集中在新问题的设计和数据集构建上。以下是几篇获奖论文:
- 《SQuAD2.0:知道你不知道什么》:提出了增加不可回答问题类型的SQuAD2.0数据集。
- 《学习提问:通过神经期望完美信息评估澄清问题》:从StackExchange平台中抽取数据,并探讨了如何生成有效的问题。
- 《再做一次:“再次”副词前提触发器的初步计算方法》:对“再次”这一词汇构建数据集并测试了多种模型。
教程:神经语义解析
本次会议还提供了关于神经语义解析的教程,主要内容包括经典模型(如CCG、AMR)与神经网络模型的对比,以及如何构建语义解析器。该教程的Slide可在以下链接下载:
- https://github.com/allenai/acl2018-semantic-parsing-tutorial
机器翻译
机器翻译领域有几篇值得关注的论文:
- 《兼得其利:结合最新进展的神经机器翻译》:Google AI团队提出了一种将RNN-based NMT与self attention NMT相结合的新架构。
- 《动态句子采样以高效训练神经机器翻译》:介绍了如何通过对样本进行加权采样,提高训练效率。
- 《基于覆盖度感知的神经机器翻译》:提出了覆盖度感知的概念,用于改善生成的句子质量。
语义解析
语义解析方面,有几篇论文提出了新的方法和技术:
- 《粗略到精细的解码器用于神经语义解析》:通过两级编码器-解码器实现语义解析。
- 《半监督学习中的结构VAE》:定义了结构化的潜在语义表示,用于半监督学习。
- 《序列到动作:用于语义解析的端到端语义图生成》:使用RNN生成语义图。
机器问答
机器问答方面,重点在于如何利用常识和知识库来增强模型的理解能力:
- 《知情阅读器:结合常识知识的闭合式阅读理解》:介绍了一种结合外部知识的阅读理解模型。
- 《简单有效的多段文本阅读理解》:提出了一种训练方法,用于忽略不相关文本。
- 《模型是否真正理解问题》:分析了深度学习模型在不同任务中的表现,并探讨了归因方法的应用。
自适应方法
自适应方法方面,有几篇论文探讨了在不同领域间迁移学习的有效性:
- 《在领域偏移下的神经半监督学习强基线》:提出了基于tri-training的方法,以提高在不同领域间的迁移学习效果。
机器学习
机器学习领域,有几篇论文探讨了新算法和技术:
- 《通过SPIGOT反向传播到结构化argmax》:提出了一种新的算法,用于处理含有结构化结果的问题。
文本分类
文本分类方面,有几篇论文提出了新的方法:
- 《将正则表达式与神经网络结合:一个口语理解案例研究》:探讨了正则表达式与神经网络的结合。
- 《联合嵌入词和标签用于文本分类》:提出了将标签嵌入与词嵌入相结合的方法。
- 《通用语言模型微调用于文本分类》:提出了一种基于LSTM的语言模型微调方法。
总结
总结方面,有几篇论文探讨了摘要生成、对话系统等领域的新技术:
- 《检索、重排与重写:基于软模板的神经摘要》:介绍了基于软模板的神经摘要方法。
- 《快速抽象摘要:基于强化学习选择句子重写》:提出了基于强化学习的选择句子重写的方法。
对话系统
对话系统方面,有几篇论文探讨了新的模型和技术:
- 《示例编码器-解码器用于神经对话生成》:提出了一种基于示例的对话生成方法。
- 《Mem2Seq:有效整合知识库的端到端任务导向对话系统》:提出了一种结合检索式和生成式的方法。
- 《Deep Dyna-Q:结合规划的任务完成对话策略学习》:提出了将规划引入强化学习框架的方法。
数据生成
数据生成方面,有几篇论文探讨了数据生成的新方法:
- 《MojiTalk:大规模生成情感响应》:利用Twitter上的数据生成情感响应。
工具
最后,会议还介绍了一些开源工具,如C++版本的神经机器翻译工具Marian:
- https://github.com/marian-nmt/marian
希望以上内容能为你提供有价值的参考。