图灵汇官网

自然语言处理基础：词性标注及其工具

词性标注是自然语言处理的一项重要基础工作，它指的是在给定句子中判断每个词的语法范畴，并确定其词性。这项任务对于理解和处理文本至关重要。

词性定义

词性是指根据词的特点来划分词类的一种方法。在汉语中，词类划分是一个复杂的概念，包含了虚词、实词等多个类别。词类划分具有层次性，例如汉语中的虚词可以进一步分为体词、谓词等。

中文词性标注的难点

汉语缺乏词形变化，因此无法像印欧语系那样通过词形变化来判断词性。此外，汉语中词类兼类现象严重，这导致词性标注时需要处理大量的歧义问题。此外，词性划分的标准和标记符号集尚未统一，这也增加了中文词性标注的难度。

词性标注方法

基于规则的方法

早期的词性标注主要依赖于人工制定的规则。随着标注语料库的扩大，这种方法逐渐被基于机器学习的自动规则提取方法取代。

基于统计模型的方法

统计方法将词性标注视为一个序列标注任务，通过隐马尔可夫模型（HMM）或条件随机场（CRF）等模型进行训练，以确定每个词的词性。

结合统计方法与规则方法

结合统计方法和规则方法可以在处理歧义时提供更高的准确性。这种方法只在统计结果不可靠时才采用规则方法进行修正。

基于深度学习的方法

深度学习方法，如LSTM+CRF、BiLSTM+CRF等，已被广泛应用于词性标注任务中，取得了较好的效果。

数据集

人民日报1998词性标注数据集：https://pan.baidu.com/s/1fW908EQmyMv0XB5i0DhVyQ

词性标注工具推荐

• Jieba：一个强大的Python中文分词组件，支持词性标注。

  • GitHub地址：https://github.com/fxsjy/jieba

• SnowNLP：一个Python库，可以方便地处理中文文本内容，包括词性标注。

  • GitHub地址：https://github.com/isnowfy/snownlp

• THULAC：由清华大学研发的中文词法分析工具包，包含分词和词性标注功能。

  • GitHub地址：https://github.com/thunlp/THULAC
  • 官网：http://thulac.thunlp.org/

• Stanford CoreNLP：斯坦福大学开发的自然语言处理工具，包含多种NLP功能，包括词性标注。

  • GitHub地址：https://github.com/Lynten/stanford-corenlp
  • 官网：https://stanfordnlp.github.io/CoreNLP/

• HanLP：由大快搜索开发的自然语言处理工具包，包含多种NLP功能。

  • GitHub地址：https://github.com/hankcs/pyhanlp
  • 官网：http://hanlp.linrunsoft.com/

• NLTK：一个高效的Python平台，用于处理人类自然语言数据。

  • GitHub地址：https://github.com/nltk/nltk
  • 官网：http://www.nltk.org/

• SpaCy：工业级的自然语言处理工具，但不支持中文。

  • GitHub地址：https://github.com/explosion/spaCy
  • 官网：https://spacy.io/

最新研究进展

更多关于词性标注的研究进展，请参见：https://github.com/sebastianruder/NLP-progress/blob/master/english/part-of-speech_tagging.md

参考资料

• 统计自然语言处理

更多个人笔记

• 微信公众号：StudyForAI（小白人工智能入门学习）
• 知乎专栏：https://www.zhihu.com/people/yuquanle/columns