自然言语处理顶会 NAACL 2018 最佳论文、工夫检验论文揭晓

图灵汇官网

NAACL、ACL、EMNLP、COLING 是自然语言处理领域内的四大会议,其中NAACL、ACL、EMNLP均由ACL(计算语言学协会)主办。尽管NAACL名义上是ACL北美分会,但在自然语言处理界同样享有顶级会议的地位,其关注重点在于人类语言技术的研究。

第16届NAACL会议(NAACL 2018)计划于当年6月1日至6日在美国路易斯安那州的新奥尔良召开。会议已公布了接收论文的名单,共收到长论文647篇,其中接受207篇,接受率为32%;短论文425篇,接受125篇,接受率为29%。此外,会议官网还提前宣布了本届会议的4篇优秀论文和3篇时间检验奖获奖论文。

优秀论文

深度上下文化的词表示

该研究介绍了一种新的深度上下文化的词表示方法,旨在捕捉单词使用中的复杂特征(例如句法和语义)及其在不同语言环境下的变化(如多义词建模)。研究团队在一个大型文本语料库上预先训练了一个双向语言模型,并将该模型产生的词向量作为输入。实验结果表明,这种词表示方法可以轻松集成到现有模型中,在回答问题、文本蕴含、情感分析等多个自然语言处理任务中取得了显著提升。研究还指出,预训练模型的深度上下文特征对后续模型的性能至关重要。

基于上下文的句子映射到可执行的正式查询

这项工作提出了一种基于上下文的模型,用于将对话中的句子映射为可执行的查询语句。该模型通过维护一个对话级别的编码器来捕捉历史信息,并能复制之前预测过的查询片段。论文展示了这种方法在ATIS航班规划对话上的应用效果,突显了上下文建模和显式引用的优势。

利用实体表示作为上下文的叙事文本生成

论文介绍了一种神经文本生成方法,能够明确表示文本中的实体。这些实体表示采用向量形式,并在文本处理过程中不断更新。这种方法特别适用于小说或历史故事等叙事性文本。实验结果表明,实体建模有助于提升提及生成和正确下一句选择等任务的表现。人工评估进一步证实了这种方法的有效性。

循环神经网络作为加权语言识别器的研究

该研究探讨了简单循环神经网络(RNNs)作为加权语言识别模型时的计算复杂性。研究聚焦于单层、ReLU激活函数、有理数权重、带有softmax输出层的RNN模型。研究表明,对于这类RNN,大多数问题(如一致性、等价性、最小化及最高权重字符串确定)都是不可判定的。然而,对于一致性的RNN,最后一个问题是可判定的,尽管解决方案可能超出了所有计算范围。如果限制字符串长度为多项式级别,则该问题变为NP完全及APX-hard。这表明在实际应用中,需要使用近似和启发式算法。

时间检验奖论文

NAACL首次设立了时间检验奖,旨在表彰过去20年(2002-2012年)内对自然语言处理领域产生深远影响的研究成果。从ACL、NAACL、EACL、EMNLP和CONLL会议、研讨会及期刊中选出的论文中,最终选择了三篇具有代表性的论文:

BLEU:机器翻译的自动评估方法

这篇论文提出了一种快速、经济且跨语言的机器翻译自动评估方法——BLEU。这种方法不仅与人类评价结果高度一致,而且运行成本低廉,可作为人类评价的辅助工具,尤其适合需要快速、频繁评价的情况。

隐马尔可夫模型的判别性训练方法

该研究提出了一种新的算法,用于训练分类模型,可以作为最大熵模型或条件随机场模型的替代方案。这种方法利用Viterbi解码和简单的加法更新规则,经过实验验证,在语音片段分类和基础名词短语识别任务中表现优于最大熵分类器。

基于机器学习的情感分类

论文探讨了将机器学习应用于情感分类任务的可能性。研究发现,标准的机器学习技术在情感分类上明显优于人为设计的基准模型。然而,常用的机器学习方法(如朴素贝叶斯、最大熵分类和SVM)在情感分类任务中的表现不如传统的话题分类任务。此外,研究还指出了影响情感分类难度的一些因素。

本文来源: 图灵汇 文章作者: 天平广播