图灵汇官网

本文整理自阿里巴巴iDST自然语言处理部总监郎君博士的演讲《NLP技术的应用及思考》。演讲从NLP背景入手，重点介绍了AliNLP平台，并分享了NLP应用实例，最后对NLP未来进行了展望。

背景介绍

阿里巴巴拥有庞大的生态系统，包括各种业务层，其中核心是买家和卖家之间的交易、支付等关系。在这个生态系统中，存在大量可以关联的数据。对于阿里巴巴来说，这张图简洁地概括了我们的业务范围。电商数据是阿里巴巴的核心，随后扩展至金融、物流、健康和娱乐等领域，产生了海量需要处理的文本数据。

自然语言处理是什么？

自然语言是人类为沟通需求而制定的一种具备统一编码解码标准的声音（图像）指令，包括手势、表情、语音等非文字语言和文字。自然语言处理涵盖自然语言理解和自然语言生成。NLP面临的四大挑战是问答、复述、摘要和翻译，解决其中一个就能解决其余问题。例如，问答系统让机器能开放地回答各种问题，复述系统则用另一种方式表达相同的意思，摘要系统需要从长篇文章中提取精华，翻译则是将一种语言转换成另一种语言。

阿里巴巴所需的自然语言处理技术

阿里巴巴的生态系统非常复杂，需要高度复杂的技术来处理各种问题。我们寻求的是高效且高性能的自然语言处理技术，这包括算法精度和执行效率。IDST的目标是引领技术前沿，完善AliNLP平台，助力核心业务发展，创造商业价值。

AliNLP自然语言处理平台

AliNLP平台架构图展示了其核心组件。底层是各类基础数据，中间层包括词法分析、句法分析、语义分析和文档分析等技术。上层则是自然语言处理的算法和业务应用，如内容搜索、推荐、评价、问答等。平台工程部分则致力于将算法快速应用于实际业务。

AliNLP平台的核心价值

平台的核心价值在于解耦。我们希望通过构建一个平台，使业务方可以清晰地看到各种NLP算法，让算法工程师专注于算法研发，形成一个完整的系统生态，平台只提供底层模型服务而不直接对接业务。

NLP算法示例

以下是几种典型的NLP算法及其应用案例：

1. 词法分析：使用Bi-LSTM-CRF算法和丰富的多领域词表，应用于优酷、YunOS、蚂蚁金服等多个场景。
2. 句法分析：采用Shift-reduce、graph-based、Bi-LSTM等算法，应用于新闻、商品评价、搜索查询等领域。
3. 情感分析：使用情感词典和属性级分析，应用于商品评价、品牌舆情等。
4. 句子生成：使用Beam Search和Seq2Seq+Attention算法，应用于商品标题压缩、资讯标题改写等。
5. 句子相似度：使用Edit Distance、Word2Vec、DSSM算法，应用于问答相似度、商品重发检测等。
6. 文本分类/聚类：使用ME、SVM、FastText算法，应用于商品类目预测、文本垃圾过滤等。
7. 文本表示：使用Word2Vec、LSTM、DSSM、Seq2Seq算法，进行深入研究。
8. 知识库：包含电商同义词、通用同义词、情感词库等，用于语义归一、语义扩展等。
9. 语料库：用于分词、词性标注、依存句法标注等。

应用实例

商品标题和副标题

商品标题和副标题的处理非常重要。例如，"2015年秋冬毛衣连衣裙我是证人杨幂同款宽松显瘦时尚打底针织连衣裙"这样的标题需要经过词法分析和结构化处理，以便更好地被搜索引擎识别和推荐。

商品评价

商品评价是电商的重要组成部分。阿里巴巴积累了数十亿条评价数据，通过分析这些数据，可以帮助消费者做出更好的购物决策。评价系统还包括对垃圾评论的过滤和用户印象的综合评估。

思考

自然语言处理面临的挑战主要来自两个方面：一是歧义，二是变化。自然语言的歧义性和变化性使得计算机难以精确理解人类语言。未来，NLP将继续模拟人类群体智慧，并与语音、图像等多种信息融合，以提升处理效果。

展望

未来，我们将不断完善AliNLP平台，开放更多能力，服务阿里巴巴生态系统中的各种业务。我们期望调用量超过千亿次，并在未来两年内对外开放，惠及更多用户，实现更高的调用量目标。