自然言语处理基础技术之依存句法分析实战

图灵汇官网

Stanford CoreNLP 依存句法分析

安装

可以使用以下命令安装 Stanford CoreNLP:

shell pip install stanfordcorenlp

如果你在中国,可以使用清华大学的镜像源来加速安装:

shell pip install stanfordcorenlp -i https://pypi.tuna.tsinghua.edu.cn/simple

使用 Stanford CoreNLP 进行依存句法分析

首先需要下载模型文件,可以从以下地址下载:

https://nlp.stanford.edu/software/corenlp-backup-download.html

中文依存句法分析

```python from stanfordcorenlp import StanfordCoreNLP

初始化模型

zh_model = StanfordCoreNLP(r'stanford-corenlp-full-2018-02-27', lang='zh')

输入句子

s_zh = '我爱自然言语处理技术!'

执行依存句法分析

depzh = zhmodel.dependencyparse(szh)

print(dep_zh)

输出示例:[('ROOT', 0, 4), ('nsubj', 4, 1), ('advmod', 4, 2), ('nsubj', 4, 3), ('dobj', 4, 5), ('punct', 4, 6)]

```

英文依存句法分析

```python from stanfordcorenlp import StanfordCoreNLP

初始化模型

eng_model = StanfordCoreNLP(r'stanford-corenlp-full-2018-02-27')

输入句子

s_eng = 'I love natural language processing technology!'

执行依存句法分析

depeng = engmodel.dependencyparse(seng)

print(dep_eng)

输出示例:[('ROOT', 0, 2), ('nsubj', 2, 1), ('amod', 6, 3), ('compound', 6, 4), ('compound', 6, 5), ('dobj', 2, 6), ('punct', 2, 7)]

```

HanLP 依存句法分析

安装

可以通过以下命令安装 HanLP:

shell pip install pyhanlp

如果你在中国,可以使用清华大学的镜像源来加速安装:

shell pip install pyhanlp -i https://pypi.tuna.tsinghua.edu.cn/simple

使用 HanLP 进行依存句法分析

```python from pyhanlp import *

输入句子

s_zh = '我爱自然言语处理技术!'

执行依存句法分析

depzh = HanLP.parseDependency(szh)

print(dep_zh)

输出示例:

1 我 我 r r _ 2 主谓关系 _ _

2 爱 爱 v v _ 0 核心关系 _ _

3 自然言语处理 自然言语处理 v v _ 4 定中关系 _ _

4 技术 技术 n n _ 2 动宾关系 _ _

5 ! ! wp w _ 2 标点符号 _ _

```

更多资源

如果你希望了解更多相关代码和笔记,可以参考以下链接:

  • GitHub: https://github.com/yuquanle/StudyForNLP/blob/master/NLPbasic/Dependency.ipynb
  • 微信公众号:StudyForAI(小白人工智能入门学习)
  • 知乎专栏:https://www.zhihu.com/people/yuquanle/columns
本文来源: 图灵汇 文章作者: 马媛