人类从一百二十万年前就开始制造工具了。阿基米德的杠杆让我们有了力量,伽利略与达芬奇的动力学赋予了我们速度与空间,而计算机科学则将无尽的信息从广阔的世界中提取出来,展示在我们面前。它试图让人类更加博学,通过无限扩展的存储来帮助我们记忆;同时也试图让我们变得更聪明,利用可叠加的计算能力帮助我们处理大量的数据和高维数据。
然而,仅有存储能力和计算能力是不够的。当一名保险销售人员面对客户询问“这个保险能否用于贷款?”时,即使保险条款详细记录在电脑中,销售人员仍需花费大量时间才能在数百页的条款中找到相关的内容。至于即时回应客户的业务咨询,几乎不可能实现。同样地,当银行销售人员想要了解“北京客户的年龄分布情况”时,尽管每位客户的年龄数据都记录在数据库中,缺乏数据库知识的他仍然需要等待专业分析师提供一份可能无法完全满足需求的报告。
信息的存在并不等同于信息的获取,信息的获取也不意味着知识的获取。要让机器真正理解问题并提供答案,还需要更多的学习。在安全集团旗下的金融壹账通,有一家专注于金融科技的独角兽公司,其人工智能实验室Gamma Lab致力于让机器理解人类的语言,并将信息转化为知识传递给人类。该实验室开发了两款产品:Gamma eExpert和Gamma Telescope,分别帮助保险销售人员理解和解读保险条款,以及帮助银行员工将问题转化为数据库查询命令并生成报表。
保险销售人员如何快速回答客户关于数百页保险条款的问题?Gamma eExpert团队给出的答案是三个步骤。
保险文档通常以PDF或Word格式存储,包含复杂的格式。通过目录结构梳理、表格提取和文本分段,文档被分解成多个文本段落。当用户提问时,段落匹配模块会寻找与问题最相关的几个段落。匹配过程采用相似度算法,首先将文档内容和问题通过深度学习和符号表示相结合,提取出多个特征,然后根据这些特征与问题的相关性进行排序。负责这项工作的团队通过算法选择、比较和参数优化,使匹配准确率达到96%以上。
用户的问题和匹配的段落被输入到阅读理解模块,通过深度学习模型,该模块会识别出最相关的短语或句子。为了提高模型的准确性和覆盖面,团队在模型结构、数据和优化流程上进行了许多探索。例如,通过多尺度一维卷积对问题和文本进行编码,使用双向注意力机制来处理问题和文本的相互关联。此外,团队采用了从通用模型到垂直领域模型迁移的方法,通过建立保险阅读理解数据集对模型进行精调,使其准确率达到90%。
在筛选答案时,系统会判断用户的问题是否具有明确的标准答案。如果是,则优先考虑知识图谱提供的答案。对于一些复杂的多步推理问题,系统会通过知识图谱三元组的形式组织答案。对于其他难以解答的问题,系统会通过二次审核确保答案的质量,并将标准答案与常用话术模板融合,生成更具人性化的答案。
帮助管理人员通过报表回答数据库相关的自然语言问题也需要三个步骤。Telescope团队给出的答案同样是三个步骤。
在第一部分,数据表的列名和问题被分别编码为两个向量,然后通过注意力机制增强问题中与表格更相关的词汇,从而生成一个包含问题和表格信息的向量,完成语言建模。这种编码方式考虑了表格的位置信息和问题的顺序信息。
Telescope将一个SQL语句分解为语句类型、操作维度和条件过滤器三部分。系统首先预测语句类型,然后预测操作维度,最后预测条件过滤器的相关内容。其中,条件过滤器部分采用指针网络,用于处理专有名词的复制。通过这种方式,系统可以根据用户的自然语言查询生成相应的SQL语句。
获取数据后,如何选择最合适的可视化方式以辅助决策是一项挑战。因此,产品团队从实际需求出发,针对不同的语句类型提供推荐的可视化方式。例如,“分布”类型的查询可以使用柱状图或词云展示。此外,对于模糊的查询,系统也会尝试推测相关的内容,并以图表形式呈现,让用户选择自己关心的方向。
通过这些步骤,Gamma Lab解决了自然语言处理中的复杂问题,实现了机器对人类语言的理解与应用。这些技术不仅提升了工作效率,也为未来的发展奠定了坚实的基础。