图灵汇官网

继国际象棋、围棋等领域之后，人工智能在深度阅读理解方面取得了突破，首次超越了人类的表现。

2019年3月8日，中国人工智能领域的领军企业“云从科技”与上海交通大学联合宣布，在自然语言处理（NLP）领域取得重大进展。他们在一个名为RACE的数据集上取得了全球领先的成绩，这是由英语考试题目组成的阅读理解数据集。他们的模型不仅在RACE数据集上排名第一，还成为了世界上首个在复杂阅读理解任务中超越人类表现的模型。

有专家认为，这标志着机器在深层次理解人类语言方面迈出了重要的一步。

在相关论文中，云从科技和上海交通大学基于原创的DCMN算法开发了一个全新模型，该模型将机器阅读理解的准确率提高了4.2个百分点，并且在高中水平的测试题中首次超过了人类（机器准确率为69.8%，而普通人则为69.4%）。

这一研究成果有望在多个实际应用中发挥作用。例如，结合文字识别（OCR）和语音识别技术后，NLP可以帮助机器更好地理解人类的语言，从而应用于客户服务、文档审核、信息检索等多个领域，从而释放人类从单调的文字工作中解脱出来。

解决语义理解难题

此次云从科技和上海交通大学在自然语言处理（NLP）领域的深度阅读理解上取得了突破。RACE数据集包含约28,000篇文章和100,000个问题，其形式类似于英语考试中的阅读理解题。给定一篇文章，机器需要阅读并理解文章，然后从四个选项中选择正确答案。这要求机器不仅仅要找到文中明确提到的答案，还要从语义层面上理解文章内容，并基于上下文推断出正确答案。

RACE数据集的挑战在于，正确答案往往需要通过深入理解文章内容和上下文关系来确定，而不是简单地从文中摘取。

解决方案

如何让机器在如此庞大的题库中找到正确的答案？云从科技和上海交通大学创造了一种名为Dual Co-Matching Network（简称DCMN）的新算法，该算法通过一种独特的匹配机制来寻找正确答案。具体来说，他们研究了P（文章）、Q（问题）和A（答案）之间的多种匹配策略，最终发现采用PQ_A的策略（即先将P与Q连接，然后与A匹配）能获得最佳效果。

对比其他已知模型和纯BERT模型，DCMN模型在多个测试中表现出色。数据显示，云从科技和上海交通大学的单一模型已经在RACE排行榜上超越所有其他模型。此外，他们的集成模型在高中水平的测试题部分优于人类的表现。

论文背景

这篇论文是由云从科技和上海交通大学的研究人员共同撰写的。云从科技是中国科学院孵化的企业，自成立以来一直致力于人工智能的基础研究和技术应用。特别是在2017年，该公司承担了国家“人工智能基础资源公共服务平台”的建设任务。2018年，云从科技的创始人周曦提出了人工智能发展的五大阶段，并指出核心技术闭环是实现这些阶段的重要基础。

核心技术闭环包括感知技术和认知决策技术。其中，自然语言处理（NLP）是认知决策技术的关键组成部分之一。目前，云从科技正在承担国家发改委和工信部的人工智能基础平台、应用平台和核心芯片平台项目，旨在整合算力、智力和数据等资源，推动人工智能在金融、安防、交通、零售、商业等领域的广泛应用。

DCMN匹配机制解析

DCMN的核心在于P（文章）与Q（问题）之间的匹配。研究人员首先利用BERT模型对P和Q中的每个词进行编码，然后通过注意力机制使P和Q之间建立联系。接下来，他们将P中每个词的编码与Q中的信息融合，通过一系列操作得到最终的匹配表示。这个过程使得机器能够更好地理解文章内容，并从四个选项中选出正确答案。

此外，研究人员还探讨了多种匹配策略，最终发现PQ_A策略是最有效的。该策略通过将P和Q先连接起来，再与A进行匹配，能够显著提升模型的性能。

总之，这项研究展示了人工智能在自然语言处理领域取得的重大进展，未来有望在更多实际应用中发挥重要作用。