人工智能与自然言语处理简介:AI三大阶段、NLP技术与运用
刘泽乌兰
2019-05-06 15:25:30
图灵汇官网
人工智能概述
人工智能(AI)是一种使机器具备人类智能的技术,能够实现自动化任务。AI的核心在于自动化和智能。AI的主要目标包括推理、自主学习与调度、机器学习、自然语言处理、计算机视觉和机器人技术,最终实现通用智能。
人工智能的发展阶段
AI经历了三个主要发展阶段:
- 第一阶段:机器学习,即智能系统通过一系列算法从经验中学习。
- 第二阶段:机器智能,使用更高级的算法,例如深度神经网络,进一步提升学习能力。
- 第三阶段:机器自我学习,无需外部数据即可自我进化。目前的技术已经达到了这一阶段。
人工智能的类型
AI可分为三种类型:
- ANI(狭义人工智能):执行特定任务,如Siri和Alexa这样的聊天机器人。
- AGI(通用人工智能):具备人类水平的任务处理能力,能够持续学习。
- ASI(超级人工智能):超越人类智能的机器。
什么是智能化?
使系统智能化的关键因素包括自然语言处理、知识表示、自动推理和机器学习。
NLP、人工智能、机器学习、深度学习和神经网络的区别
- 人工智能:创建智能化系统。
- 自然语言处理(NLP):让计算机理解和解释人类语言,属于AI的一个分支。
- 机器学习:使系统从经验中学习,也是AI的一个分支。
- 神经网络:模仿生物神经元网络的计算模型。
- 深度学习:在大数据集上使用深度神经网络的机器学习分支。
自然语言处理概念
自然语言处理(NLP)使计算机能够理解并解释人类的语言。NLP的目标是缩小人类交流(自然语言)与计算机理解(机器语言)之间的差距。NLP分析语言的多个层次,包括句法、语义和语用学。
NLP中的语义分析方法
- 分布式方法:利用大规模统计策略进行机器学习和深度学习。
- 框架式方法:将不同句法但相同语义的句子表示为标准化情境。
- 实际式方法:基于句子的部分内容和真实世界信息来理解整体意义。
- 交互式方法:在交互式学习环境中,用户逐步教导计算机理解语言。
NLP流程
NLP涉及两个主要过程:自然语言理解和自然语言生成。
自然语言理解(NLU)
NLU旨在理解给定文本的意义。它需要理解文本中单词的特性和结构,解决词法、句法、语义和回指歧义问题。
自然语言生成(NLG)
NLG是从结构化数据中生成可读文本的过程,分为文本规划、语句规划和完成三个阶段。
NLP与文本挖掘的区别
NLP关注文本的语义理解,而文本挖掘则侧重于识别文本数据中的隐藏信息,通常通过句法分析实现。
我们为什么需要NLP
NLP可以实现自动语音和文本编写,利用计算机的能力处理大量数据,提高效率。NLP的应用还包括自动摘要、机器翻译和合同文档对比等。
NLP技术的应用领域
在企业中,NLP可以用于合同审核,提高效率和准确性。例如,合同智能识别和比对机器人可以自动标注合同差异,减轻人工审核的工作负担。
传统合同比对的问题
- 风险高:人工审核易出错,导致法律和经济损失。
- 时间成本高:工作量大,审核速度慢。
- 人力成本高:雇佣专业人员成本高,重复工作导致人员流动性大。
合同比对机器人的优势
- 采用先进全文识别技术和比对引擎:自动纠正图像倾斜,去除噪声,准确率高达98%。
- 版面分析、表格分析和文字分析:自动检测文本区域和表格区域,逐字逐句比对。
- OCR字符识别:单字符识别率达98%,误差小。
- 数据组织和输入:全面覆盖每个字符的位置信息。
- 自动比对:系统自动比对两份合同,标识差异,发现并提示多行或少行问题。
合同比对机器人的价值
- 提升效率:自动识别和比对,显著缩短审核时间。
- 增强风控能力:辅助人工审核,降低错误率,减少企业风险。
- 释放人力资源:解放重复劳动,从事更高价值的工作。
适用行业
保险、证券、银行、电信、基金、信托等风控要求高的企业和合同量大的大中型企业。