所谓自然语言处理(NLP),实际上包含了众多不同的方面,例如广泛使用的机器翻译、各大公司竞相角逐的机器问答以及相对陌生的情感分析。
在NLP的不同分支领域,研究方法和模型通常存在显著差异。因此,一个机器翻译模型并不能直接应用于机器问答等其他任务。
基于此,NLP领域的领先企业Salesforce提出了一种创新思路:是否有可能开发出一种能够胜任多种NLP任务的通用模型?
为此,Salesforce创造了一个名为“自然语言十项全能”(decaNLP)的模型体系,旨在通过单一模型解决包括问答、机器翻译、文本摘要、自然语言推理、情感分析、语义角色标注、关系抽取、目标导向对话、语义分析和常识代词消解在内的十个关键任务。
这些任务组合起来被称为“自然语言十项全能”。Salesforce希望通过这种方式推动业界探索能够适应各种任务的通用模型,并对比这类模型与专门针对单一任务的模型之间的区别。
为了评估模型的表现,Salesforce引入了一个称为“decaScore”的评分系统,该系统综合了各个任务的评估标准,分数范围从1到1000。
然而,不同于传统做法,Salesforce并未提供独立的测试数据集,而是选择使用SQuAD平台进行测试。在decaNLP框架下,无论面对何种任务,都会将其转化为问答的形式来进行处理。这种方法的核心在于,无论是翻译、摘要生成还是其他任务,都将问题转化为一个带有上下文信息的问题。
例如,在翻译任务中,原句被当作上下文信息,问题则变成“这句话用另一种语言怎么说?”
Salesforce的这一模型被称为MQAN(多任务问答网络),它无需针对每个任务进行特殊调整,而是采用双向长短时记忆网络(BiLSTM)和双重共注意机制等技术来处理输入的问题和上下文信息,从而实现高效的多任务处理。
MQAN模型不依赖于特定任务的参数或结构,而是利用双向长短时记忆网络编码输入的问题和上下文信息,使用双重共注意机制确定序列间的交互方式,再通过多个双向长短时记忆网络压缩信息并捕捉长距离依赖关系,最终生成问题和上下文信息的最终输出。
如果您对这个模型感兴趣,可以访问Salesforce的官方网站获取更多详细信息,包括相关的论文和技术文档。
— 完 —
诚挚招聘
量子位现正招募市场运营实习生,主要职责包括参与线上线下活动的整体策划、制作相关宣传材料及管理社群等。工作地点位于北京中关村。
期待您的加入!如有兴趣,请将简历发送至:quxin@qbitai.com