自然言语处理基础技术之组合范畴文法

图灵汇官网

之前在阅读论文时接触到了CCG这一概念,于是便进行了一些研究和学习。

定义

CCG(组合范畴语法)是一种词汇化的语法形式,它在AB演算的基础上进行了扩展。从语法理论的角度来看,CCG是一种词汇化的手段;从计算语言学的角度来看,CCG属于一种上下文相关的文法;从逻辑语义学的角度来看,CCG在句法和语义的接口方面表现优异。这些特性使CCG非常适合自然语言信息处理,在计算语言学领域具有重要的理论和实践价值。

百度百科定义

CCG是一种词汇化的语法形式,它基于AB演算扩展而来。从语法理论角度看,CCG是一种词汇化的手段;从计算语言学角度看,CCG属于一种上下文相关的文法;从逻辑语义学角度看,CCG在句法和语义的接口方面表现优异。

维基百科定义

CCG是一种高效解析且语言表达能力强的语法形式。它在表面语法和底层语义表示之间有清晰的接口,包括谓词-论元结构、量化和信息结构。CCG生成的是短语结构(而不是依存结构),因此属于短语结构语法。

组合范畴文法

CCG是一种类型驱动的词汇化语法,通过词汇范畴明确地提供从句法到语义的接口,属于短语结构语法。CCG的基本操作包括:1)原子范畴,用于表达基本的词汇类别和句法功能;2)组合范畴,由原子范畴构成,通常用X/Y或XY表示,可以向左或向右寻找变元Y来获得组合X。

示例

CCG中的句子没有单一的结构,就像其他语法模型一样。这里举一个维基百科中的例子来直观感受一下。

示例句子

句子:the dog bit John

应用

最近阅读了一篇IJCAI2017的文章,该文章致力于句子表示的学习。文章指出,大多数现有的模型在学习句子表示时通常会对句子中的每个单词进行平均处理。因此,文章提出了一种改进方法,即为组成单词的向量分配不同的权重,这可以视为对单个句子的注意力机制。为了实现这一点,文章引入了一种新颖的注意力模型,通过使用CCG超标签来推导注意力权重。换句话说,文章认为不同的词性应有不同的重要性,因此为不同词性的CCG词汇分配不同的权重。

相关资源

感兴趣的读者可以查看文章:《Learning Sentence Representation with Guidance of Human Attention》

文章下载地址:https://arxiv.org/pdf/1609.09189.pdf

作者还开源了代码:https://github.com/wangshaonan/Learning-sentence-representation-with-guidance-of-human-attention

工具

  • C&C工具 下载地址:http://svn.ask.it.usyd.edu.au/trac/candc/wiki/Download

更多学习资料

  • 公众号:StudyForAI(小白人工智能入门学习)
  • 知乎专栏:https://www.zhihu.com/people/yuquanle/columns
本文来源: 图灵汇 文章作者: