图灵汇官网

云栖TechDay第33期，阿里巴巴iDST的自然语言处理（NLP）部门总监上乘在演讲中探讨了“NLP技术的应用及思考”。他从NLP的历史背景出发，着重介绍了AliNLP平台，并分享了NLP在实际应用中的案例，最后对NLP的未来进行了展望。

以下是演讲的主要内容摘要：

背景介绍

阿里巴巴拥有庞大的生态系统，涵盖众多业务层面，从娱乐到广告再到金融和物流。这个生态系统中积累了大量数据，其中包含丰富的文本信息。例如，阿里电商平台上有数十亿商品，每个商品都有详细的标题、副标题、详情页、评论区等，这为NLP技术提供了丰富的应用场景。此外，阿里还涉足内容营销、直播、问答等场景，积累了大量的文章和数据。

自然语言处理（NLP）是什么？

1. 定义：NLP是一种处理自然语言的技术，它涉及将自然语言转化为计算机可理解的形式，如非结构化文本转化为结构化信息。
2. 四大难题：问答、复述、文摘、翻译，解决其中一个难题，其他难题也会迎刃而解。这些问题的解决需要高度精确的算法和技术支持。

阿里巴巴对自然语言处理的需求

阿里巴巴的生态系统非常复杂，需要高效且强大的自然语言处理技术。以往简单的NLP技术已经无法满足需求，因此阿里需要一个完备且高性能的NLP平台。该平台需具备高精度和高效执行的能力，同时能够覆盖多个业务场景。

AliNLP平台

AliNLP平台的核心架构包括多层次的数据处理和算法应用。底层包括基础数据、词法分析、句法分析、语义分析等，上层则涵盖了内容搜索、推荐、评价、问答、文摘等应用。平台的左侧还有一系列工程模块，以确保算法能够快速应用于业务。

平台核心价值

1. 算法超市：提供多种NLP算法，方便业务方选择。
2. 工程小白：简化工程操作，让算法工程师专注于算法开发。
3. 系统生态：形成完整的系统生态，服务于NLP算法和业务。
4. 服务底线：只做底层模型的服务输入，不直接对接业务。

NLP算法实例

1. 词法分析：使用Bi-LSTM-CRF算法体系，应用于优酷、YunOS、蚂蚁金服等多个场景。
2. 句法分析：使用Shift-reduce、graph-based、Bi-LSTM等算法，应用于新闻、商品评价等领域。
3. 情感分析：利用情感词典和属性级情感分析，应用于商品评价、品牌舆情等。
4. 句子生成：采用Beam Search和Seq2Seq+Attention算法，应用于商品标题压缩和资讯标题改写。
5. 句子相似度：使用Edit Distance、Word2Vec、DSSM算法，应用于问答相似度分析、商品重发检测等。
6. 文本分类/聚类：使用ME、SVM、FastText算法，应用于商品类目预测、问答意图分析等。
7. 文本表示：研究词向量、句子向量、篇章向量等。
8. 知识库：包含电商同义词、通用同义词等，用于语义归一、情感分析等。
9. 语料库：用于分词、词性标注等。

应用实例

商品标题分析

商品标题“2015年秋冬毛衣连衣裙我是证人杨幂同款宽松显瘦时尚打底针织连衣裙”经过分词、实体标注、热度计算、中心识别等步骤，可以转化为结构化的信息，从而提高搜索引擎和推荐引擎的智能化水平。

商品评价分析

阿里积累了大量商品评价数据，通过文本分类、标签、文档聚类等技术，对用户评价进行分析和处理，帮助用户做出更好的购物决策。评价系统还包括去除垃圾信息、优化用户体验等功能。

思考

NLP技术面临的挑战主要包括歧义和变化。NLP技术的发展需要模拟人类的认知过程，持续提升效果，并融合多维度信息，如语音、图像、视频等。

未来展望

在未来一年内，阿里将继续完善AliNLP平台，开放更多功能，服务好生态系统。目标是实现调用量超过千亿次，并在两年内对外开放，普惠大众，进一步提升调用量至万亿次。

上乘是阿里巴巴iDST自然语言处理部总监，拥有哈尔滨工业大学自然语言处理方向博士学位，曾担任新加坡资讯科技研究院的研究科学家，负责统计机器翻译系统研发。自2014年起，他在阿里巴巴iDST领导自然语言处理部门，从零组建团队，并负责多项核心业务应用的技术研发。