图灵汇官网

自然语言处理（NLP）技术在过去几年中取得了显著进步，该技术支撑着各类聊天机器人、语音助手和预测文本等应用。本文将介绍一些开源的NLP工具，帮助开发者构建基于语音或文本的应用程序。

Python工具

自然语言工具包（NLTK）

NLTK是功能全面的工具，提供了从分类、标记化、解析到语义推理等多种NLP组件。每种方法通常有多种实现，用户可以根据需要选择具体的算法或方法。尽管它支持多种语言，但以字符串形式表示所有数据，使得某些高级功能难以实现。与其他工具相比，NLTK的发展较为缓慢。总的来说，它是一个非常适合实验、探索和应用程序开发的工具包。

SpaCy

SpaCy是NLTK的主要竞争者，它在大多数情况下运行速度更快。SpaCy将所有内容表示为对象而非字符串，简化了应用程序的构建过程，并有助于与其他框架和数据分析工具集成。不过，SpaCy支持的语言种类不如NLTK丰富。它具备简单的界面、精简的选择和优质的文档，以及多种神经模型，适合那些需要高性能且不需要特定算法的新应用。

TextBlob

TextBlob是NLTK的扩展，提供了许多NLTK函数的简化访问方式，同时也包含了Pattern库中的功能。对于初学者来说，这是一个很好的学习工具，适用于不需要复杂处理的应用场景。总的来说，TextBlob在多种场合下都能很好地发挥作用，尤其适合小型项目。

Textacy

Textacy利用SpaCy作为其核心NLP功能，但在数据处理前后做了大量工作。如果你计划使用SpaCy，Textacy可以帮助你轻松处理多种类型的数据，而无需编写额外的辅助代码。

PyTorch-NLP

PyTorch-NLP已经存在一段时间，并拥有庞大的社区支持。它是快速原型设计的理想工具，经常更新以反映最新的研究成果。虽然它主要面向研究人员，但也适用于原型制作和初期生产工作负载，提供最先进的算法。在PyTorch-NLP基础上开发的库也值得研究。

Node工具

Retext

Retext是unified collective的一部分，允许多种工具和插件高效集成和协作。Retext是unified工具的三种语法之一，其他两种分别是Remark和Rehype。Retext通过插件实现NLP目标，使得拼写检查、排版修正、情绪分析等任务变得简单。如果你只需要完成某些特定任务，而不必深入了解底层流程，Retext是一个出色的选择。

Compromise

Compromise并不是最复杂的工具，但它具有广泛的功能，能够在客户端高效运行。如果你需要一个性能高且功能丰富的工具，Compromise是一个不错的选择。

Natural

Natural包含了大多数普通NLP库中的功能，主要侧重于英语，但也支持其他几种语言。它支持标记化、词干化、分类、语音、TF-IDF、WordNet、字符串相似性等功能。虽然它试图将所有内容整合在一个包中，但使用起来更加简便，不专注于研究领域。总的来说，Natural是一个功能齐全的库，但仍在积极开发中，可能需要更多的底层实现知识才能充分发挥其潜力。

Nlp.js

Nlp.js建立在多个其他NLP库之上，包括Franc和Brain.js。它为NLP组件提供了良好的接口，如分类、情感分析、词干化、命名实体识别和自然语言生成。它支持多种语言，对于需要使用除英语外的其他语言的应用非常有用。总的来说，Nlp.js是一个通用工具，简化了与其他几个工具的接口，适合那些需要长期使用的应用程序。

Java工具

OpenNLP

OpenNLP由Apache基金会托管，易于与其他Apache项目集成，如Apache Flink、Apache NiFi和Apache Spark。它是一个通用的NLP工具，涵盖了许多常见的NLP处理组件，可以从命令行或应用程序中用作库。它广泛支持多种语言，是一个强大的工具，适用于Java环境下的生产工作负载。

StanfordNLP

Stanford CoreNLP是一组工具，提供了统计NLP、深度学习NLP和基于规则的NLP功能。它有许多编程语言的绑定，因此可以在Java之外使用。Stanford CoreNLP是一个非常强大的工具，由精英研究机构开发，但它可能不是生产工作负载的最佳选择。该工具具有双重许可，商业用途需特别许可。总的来说，这是一个优秀的研究和实验工具，但在生产系统中可能会带来额外成本。

CogCompNLP

CogCompNLP是由伊利诺伊大学开发的，也有一个Python版本的库。它可用于本地或远程系统的文本处理，减轻了本地设备的负担。它提供了多种处理功能，如标记化、词性标注、分块、命名实体标注、词形还原、依存和短语结构分析以及语义角色标注。总的来说，这是一个优秀的研究工具，具有许多值得探索的组件。不确定它是否适合生产工作负载，但如果你计划使用Java，值得一试。