图灵汇官网

AIS (ACL、IJCAI、SIGIR) 2018

第二节：表示与推理

段超群（哈尔滨工业大学）

注意力融合深度匹配网络用于自然语言推理

段超群介绍了这篇研究，涵盖了自然语言推理任务的核心问题及其挑战。自然语言推理，也称为文本包含，主要任务是判断两个句子间的语义关系。给定两个句子P和Q，目标是确定这两句话的关系。常见的关系包括蕴含、矛盾和中立。虽然许多方法借鉴了匹配任务的处理方式，但自然语言推理任务本身有其独特之处，如上下位词和特定场景下的词汇关系。现有方法在处理这些复杂关系时存在局限，此外，自然语言处理中的长距离依赖问题也是一个挑战。本研究重点解决了这些问题。

研究中使用的模型框架主要包括编码层、匹配层和预测层。本文特别关注匹配层，提出了一种计算单元结构，包含四个子层：交叉注意力（Cross Attention）、交叉注意力融合（Fusion for Cross Attention）、自注意力（Self-Attention）和自注意力融合（Fusion for Self-Attention）。通过这些子层，模型能够更好地捕捉词对间的相似度、处理长距离依赖关系，并提高整体性能。

实验中使用的数据集主要有SNLI、MultiNLI和Quora。通过叠加模块，如交叉注意力融合、自注意力和自注意力融合，模型在处理长距离依赖关系时表现出色。研究发现，当句子长度超过15个词时，模型的优势更为明显。实验结果表明，模型能够有效识别两句话中的显著差异，并且通过自注意力机制缓解了长距离依赖问题。

未来的研究将着重利用未标注数据增强句子表示，进一步提升模型性能。

韩家龙（腾讯AI Lab）

HyperDoc2Vec：超文本文档的分布式表示

随着互联网的广泛应用，超文本文档（如网页）的重要性日益凸显。超文本文档不仅包含文档本身的文本内容，还包括指向其他文档的超链接。学术论文也可以被视为一种超文本文档。超链接是区分传统文本和超文本的主要特征之一。为了获得超文本文档的有效表示，研究者提出了HyperDoc2Vec方法，该方法通过学习每个超文档的输入向量和输出向量，捕捉文档内部和外部的关联信息。

HyperDoc2Vec方法需要满足四个关键性质：内容敏感、上下文敏感、对新文档友好和上下文意图敏感。通过对传统方法（如Word2Vec和Doc2Vec）的改进，HyperDoc2Vec能够在保持内容敏感的同时，适应新文档并捕捉上下文意图。这种方法不仅适用于网页分类，还适用于论文引用推荐等任务。

实验结果表明，HyperDoc2Vec方法能够有效地捕捉超文本文档的特征，且不依赖于具体的下游任务，具有广泛的适用性。

何志成（南开大学）

Hashtag2Vec：基于关系层次嵌入模型的话题标签表示学习

在社交媒体中，话题标签被广泛用于标注文本内容，以方便检索和推荐。话题标签的创建过程不受控制，且包含多种结构关系。为了有效融合话题标签、消息内容和词之间的信息，研究者提出了Hashtag2Vec模型。该模型通过构建一个多层次的网络结构，学习话题标签的表示。具体步骤包括基于内容的节点嵌入、基于结构的节点表示和异质结合表示学习。

Hashtag2Vec模型首先在推特级别学习节点表示，通过非线性函数拟合消息之间的语义关系。其次，通过结构信息（如话题标签间的共现关系和局部结构），进一步优化节点表示。最后，通过结合内容和结构信息，创建伪文档以学习话题标签的表示。

实验结果表明，Hashtag2Vec模型在两个推特数据集上的表现最佳，且在案例分析中展现出优越性能。

蔡祥睿（南开大学）

带有时间感知注意力的医疗概念嵌入

在医疗数据分析中，电子医疗记录（EMR）是关键数据源。为了更好地分析医疗数据，研究者提出了一种同时学习医疗概念嵌入和时间上下文范围的方法。该模型考虑了医疗概念的时间属性，并通过注意力机制捕捉不同时间单元的权重。

实验在两个数据集上进行：NUH2012（新加坡国立大学医院分享的数据集）和DE-SynPUF（公开数据集）。研究结果表明，该模型在较大的时间范围内仍能有效学习医疗概念的嵌入。模型的注意力机制符合医学常识，能够识别慢性病和急性病的不同时间模式，从而为医疗决策提供有力支持。

以上内容是对原文的改写，旨在保留原文核心信息的同时，通过不同的表述方式使其更具可读性和紧凑性。