自然言语处理常用包—号码归属地查询 词汇情感值等

图灵汇官网

最近在项目中需要从文本中抽取结构化信息,我整理了一些GitHub上的工具包,后续会持续更新。这些工具包不仅功能强大,而且非常有趣,非常适合收集爱好者使用。如果你觉得这些工具对你有帮助,请不要吝啬分享和点赞,非常感谢!

这些工具包涵盖了多种内容,包括但不限于:

  • 中英文敏感词检测
  • 多语言识别
  • 手机号码、电话归属地和运营商查询
  • 名字性别推断
  • 邮箱、手机号、身份证号码抽取
  • 中日文人名库、中文缩写库、汉字拆字词典、词汇情感值、停用词、反动词表、暴恐词表、繁简体转换
  • 英文模拟中文发音
  • 汪峰歌词生成器
  • 职业称号词库、同义词库、反义词库、否定词库、汽车品牌词库、汽车零件词库
  • 连续英文切割、中文词向量、公司名称大全、古诗词库、IT词库、财经词库、成语词库、地名词库、历史名人词库、诗词词库、医学词库、饮食词库、法律词库、汽车词库、动物词库
  • 中文聊天语料、中文谣言数据、百度中文问答数据集
  • 文本生成与摘要工具、COCO-NLP信息抽取工具
  • 国内电话号码正则匹配
  • 清华大学XLORE跨语言百科知识图谱
  • 清华大学人工智能技术系列报告
  • 自然语言生成工具
  • 自然语言处理难题系列
  • 自动对联数据及机器人
  • 用户名黑名单列表
  • 法律术语及分类模型
  • 微信公众号语料
  • 深度学习自然语言处理课程
  • 中文手写汉字识别
  • 中文自然语言处理语料库
  • 变量命名工具
  • 分词语料库和代码
  • 任务导向对话数据集
  • ASR语音数据集和基于深度学习的中文语音识别系统
  • 笑声检测器
  • Microsoft多语言数字和日期识别包
  • 中华新华字典数据库和API
  • 文档图谱自动生成工具
  • Spacy中文模型
  • Common Voice语音识别数据集
  • 神经网络关系抽取工具
  • 基于BERT的命名实体识别工具
  • 关键词抽取包
  • 基于医疗知识图谱的问答系统
  • 基于依存句法和语义角色标注的事情三元组抽取工具
  • 依存句法分析数据集
  • 中文OCR工具
  • 中文人物关系知识图谱项目
  • 中文NLP竞赛项目及代码汇总
  • 中文字符数据
  • 语音对齐工具
  • 知识图谱表示学习库
  • 文本可视化工具
  • BERT和ERNIE语言表示工具
  • 中英文自然语言处理对比综述
  • 中文近义词工具包
  • 自适应文本挖掘工具
  • 多语言词对集工具包
  • 语音识别语料生成工具

下面列举一些具体的工具示例:

  1. textfilter:用于中英文敏感词过滤,例如: python from dfa_filter import DFAFilter f = DFAFilter() f.add("sexy") f.filter("hello sexy baby")

  2. langid:一种多语言检测工具,例如: python import langid langid.classify("This is a test")

  3. langdetect:另一种语言检测工具,例如: python from langdetect import detect detect("本篇博客主要介绍两款语言探测工具")

  4. phone:中国手机号码归属地查询,例如: python from phone import Phone p = Phone() p.find(18100065143)

  5. ngender:根据名字推断性别,例如: python import ngender ngender.guess('赵本山')

  6. cocoNLP:一个强大的信息抽取工具,例如: python from cocoNLP.extractor import extractor ex = extractor() text = '急寻特朗普,男孩,于2018年11月27号11时在陕西省健康市汉滨区走失。丢失发型短发,...如有线索,请迅速与警方联络:18100065143,132-6156-2938,baizhantang@sina.com.cn 和yangyangfuture at gmail dot com' emails = ex.extract_email(text) cellphones = ex.extract_cellphone(text, nation='CHN')

以上只是部分工具示例,每个工具都有详细的文档和使用说明,可以进一步探索和使用。希望这些工具能帮助你更高效地处理文本数据。

本文来源: 图灵汇 文章作者: 涂鸦智能