在家里的智能音箱里,小爱同学发出了请求:“陪我聊聊天吧。”这标志着人机对话的开始,尽管现阶段这种对话还相对简单。除了小爱同学,市场上还有很多面向消费者的产品,如Siri、天猫精灵和小度等。而在商业领域(B端),自然语言处理(NLP)作为人工智能的一个分支,已经逐渐应用于教育、医疗等多个领域。
语音识别是NLP的一部分,主要解决的是计算机如何“听懂”语言的问题。NLP的目标是让计算机能够处理或“理解”自然语言,以便执行翻译和回答问题等任务。作为人工智能最早期的技术之一,NLP也是最先实现商业化的技术之一。未来,人机交互的趋势将继续向NLP技术倾斜,在大多数智能产品中,NLP技术都将扮演不可或缺的角色。近年来,随着深度学习技术的进步,NLP中的语音识别、特征提取和分类等功能不断成熟,技术能力显著提升,推动了商业化应用的热潮。
NLP技术的需求日益广泛,涵盖教育、医疗、金融、政务和智能设备等多个行业。据美国研究公司Tractica预测,随着人工智能技术的发展,NLP软件市场将在未来十年内增长近40倍,从2016年的1.36亿美元增长到2025年的54亿美元,同时还将带动相关硬件和服务市场的增长,预计到2025年,NLP领域的软硬件和服务总市场规模将达到223亿美元。
在中国,NLP技术的发展同样迅猛。数据显示,国内智能语音市场的规模从2011年的6.3亿元增长到2016年的59.3亿元,复合年增长率约为45%。
NLP技术的核心在于机器翻译系统,传统的机器翻译依赖于平行语料库,即一组需要被翻译成一种或多种不同语言的文本。例如,给定源语言f(如法语)和目标语言e(如英语),需要建立多个统计模型,包括基于贝叶斯规则的概率公式,训练的翻译模型p(f|e)和平行语料库,以及在纯英文语料库上训练的语言模型p(e)。这种方法虽然简洁,但需要大量的人工特征工程,整体而言是一个相当复杂的系统。
神经机器翻译则利用递归神经网络(RNN)这一大型人工神经网络来建模整个翻译过程。RNN是一种具有时间连接性的神经网络,能够从前一层接收信息。然而,RNN的一个主要问题是梯度消失或爆炸问题,这取决于使用的激活函数,随着时间的推移,信息可能会迅速丢失。因此,RNN在记忆序列中的早期单词时表现不佳,只能根据最近的单词进行预测。为了对抗这个问题,长短期记忆(LSTM)网络引入了门和明确定义的记忆单元。每个神经元都有一个记忆单元和三个门:输入门、输出门和遗忘门。这些门的功能是通过控制信息流来保护信息。LSTM已被证明能够学习复杂的序列,例如莎士比亚的作品或原创音乐。需要注意的是,这些门中的每一个都对前一个神经元中的一个单元具有权重,因此它们通常需要更多的计算资源。目前,LSTM非常流行,并且在机器翻译中得到了广泛应用。
除了RNN,还有其他网络系统,如深度神经网络(DNN)和卷积神经网络(CNN)。近年来,语音识别取得了重大突破。IBM、微软、谷歌和百度等机构相继推出了自己的深度CNN模型,提高了语音识别的准确性。根据玛丽·米克尔的年度互联网报告,谷歌在2017年3月推出的基于机器学习的语音识别系统,已达到95%的英文字符准确率,接近人类水平。2017年8月,微软的语音对话研究小组在Switchboard语音识别任务中,将错误率从5.9%降至5.1%,达到了当前的最高水平。在中文语音识别方面,百度、搜狗和科大讯飞等主流平台的准确率均超过97%。此外,NLP技术在浅层特征提取和分类方面已经相对成熟,而深层语义理解则是当前研究的重点。
目前,语音识别技术较为成熟的应用领域包括教育、医疗和金融。在教育领域,智能语音技术可以提高教师的工作效率,并帮助学生提升学习效果。科大讯飞为全国性考试提供技术支持,已成为国内中英文口语评测的领先企业。思必驰、云知声等初创公司也通过智能语音的人机交互进入教育市场。2C端应用中,英语流利说的注册用户数已超过4000万,在语言教育行业位居第一。
在医疗领域,语音识别主要用于电子病历的录入、数据筛选和辅助诊断。医生可以通过专业麦克风将诊断信息实时转化为文字,录入医院的HIS系统,从而提高工作效率。科大讯飞和云知声是该领域的典型代表。由于医疗信息和患者病史通常以自由文本形式保存在病历中,NLP技术可以帮助医生从中提取关键信息,并将文本转化为可用的知识。2016年,百度发布了医疗大脑,具备语音识别、图像处理、自然语言处理和用户画像等多种功能,可通过海量医疗数据和专业文献的收集与分析,进行人工智能化的产品设计,模拟医生问诊流程,与用户进行多轮交流,根据患者的症状,提出可能的诊断,并反复验证,给出医疗建议。
在金融行业,许多业务具有客户服务性质,可以充分利用智能语音技术。一些商业银行已通过语音识别技术实现了语音导航、语音交易、业务办理等在线客服及呼叫中心的基础服务。此外,通过NLP技术,可以从个人和企业的主页、社交媒体等渠道获取数据,自动提取特征关键词,并对文本数据进行自动分类,生成结构化的客户大数据信息,作为金融机构风险控制和信用评估的重要依据。目前,许多互联网公司如宜信、闪银等已采用NLP技术。