GMTC北京站9折购票倒计时,部分日程已上线,戳此查看 了解详情
写点什么

5 个流行的自然语言处理库及入门用法

  • 2021 年 7 月 26 日
  • 本文字数:5236 字

    阅读完需:约 17 分钟

5个流行的自然语言处理库及入门用法

本文介绍了 5 个流行的 Python NLP 库和它们的入门用法,这些库涵盖了语言数据可视化、数据预处理、多任务功能、一流语言建模等用例。


本文并不是要从这些解决方案中指定一个最优集合,而是给出一篇概述,介绍精选的 5 个流行库,希望能帮助解决你的问题。

1.Hugging Face Datasets


Hugging Face 的 Datasets 库本质上是一个对公开可用的 NLP 数据集的打包集合,带有一组通用的 API 和数据格式,以及一些辅助功能。以下是关于它的介绍:


收集了最多的用于 ML 模型的即开即用 NLP 数据集,具有快速、易用且高效的数据操作工具。


你可以通过以下方式轻松安装 Datasets 库:


pip install datasets
复制代码


根据介绍,Datasets 提供了两大特性:用于许多公共数据集的单行数据加载器,以及高效的数据预处理。但它的介绍没有提到这个库的另一大特性:与 NLP 任务相关的许多内置评估指标。这个库还有其他一些特性,例如数据集的后端内存管理以及与流行的 Python 工具(如 NumPy、Pandas)和主流机器学习平台(TensorFlow 和 PyTorch)的互操作性。

 

我们先来看看如何加载一个数据集:


from datasets import load_dataset, list_datasetsprint(f"The Hugging Face datasets library contains {len(list_datasets())} datasets")squad_dataset = load_dataset('squad')print(squad_dataset['train'][0])print(squad_dataset)
复制代码

 

The Hugging Face datasets library contains 635 datasetsReusing dataset squad (/home/matt/.cache/huggingface/datasets/squad/plain_text/1.0.0/4c81550d83a2ac7c7ce23783bd8ff36642800e6633c1f18417fb58c3ff50cdd7){'answers': {'answer_start': [515], 'text': ['Saint Bernadette Soubirous']}, 'context': 'Architecturally, the school has a Catholic character. Atop the Main Building\'s gold dome is a golden statue of the Virgin Mary. Immediately in front of the Main Building and facing it, is a copper statue of Christ with arms upraised with the legend "Venite Ad Me Omnes". Next to the Main Building is the Basilica of the Sacred Heart. Immediately behind the basilica is the Grotto, a Marian place of prayer and reflection. It is a replica of the grotto at Lourdes, France where the Virgin Mary reputedly appeared to Saint Bernadette Soubirous in 1858. At the end of the main drive (and in a direct line that connects through 3 statues and the Gold Dome), is a simple, modern stone statue of Mary.', 'id': '5733be284776f41900661182', 'question': 'To whom did the Virgin Mary allegedly appear in 1858 in Lourdes France?', 'title': 'University_of_Notre_Dame'}DatasetDict({    train: Dataset({        features: ['id', 'title', 'context', 'question', 'answers'],        num_rows: 87599    })    validation: Dataset({        features: ['id', 'title', 'context', 'question', 'answers'],        num_rows: 10570    })})
复制代码


加载指标也很简单:


from datasets import load_metric, list_metricsprint(f"The Hugging Face datasets library contains {len(list_metrics())} metrics")print(f"Available metrics are: {list_metrics()}")# Load a metricsquad_metric = load_metric('squad')
复制代码

 

The Hugging Face datasets library contains 19 metricsAvailable metrics are: ['accuracy', 'bertscore', 'bleu', 'bleurt', 'comet', 'coval', 'f1', 'gleu', 'glue', 'indic_glue', 'meteor', 'precision', 'recall', 'rouge', 'sacrebleu', 'seqeval', 'squad', 'squad_v2', 'xnli']
复制代码


你想用它们做什么都随意,但有了这个库,你就可以轻松加载可公开访问的数据集,和久经考验的真实评估指标了。

2.TextHero


TextHero 在其 GitHub 存储库中的介绍很简单:


文本预处理、表示和可视化,助你从零迈向大师。


这几句话很好地解释了这个库可以解决的问题,下面我们再深入研究一下为什么我们就要用它。从 repo 中我们可以看到更具体的说明:


TextHero 只有一个非常务实的目标:为开发人员腾出空闲时间。文本数据处理起来可能会很痛苦,在大多数情况下有一个默认管道的话上手起来就轻松多了。总有时间回来改进以前的工作。


现在你知道了为什么要使用 TextHero,它的安装方法如下:


pip install texthero
复制代码


入门指南介绍了你可以用它做的工作,几行代码就可以搞定。使用 TextHero Github 存储库中的以下示例,我们会加载一个数据集,清理它,并创建一个 TF-IDF 表示,执行主成分分析(PCA)并绘制 PCA 的结果。

def text_texthero():	import texthero as hero	import pandas as pd	df = pd.read_csv("https://github.com/jbesomi/texthero/raw/master/dataset/bbcsport.csv")	df['pca'] = (		df['text']			.pipe(hero.clean)			.pipe(hero.tfidf)			.pipe(hero.pca)		)	hero.scatterplot(df, 'pca', color='topic', title="PCA BBC Sport news")
复制代码



用 TextHero 可以完成的工作还有很多,请继续查阅文档,了解数据清理和预处理、可视化、表示、基本 NLP 任务等相关信息。

3.spaCy


spaCy 是专门设计的,其宗旨是成为一个用于实现生产就绪系统的有用库。以下是关于它的介绍:


spaCy 旨在帮助你完成真正的工作——构建真正的产品,或收集真正的见解。这个库尊重你的宝贵时间,并尽量避免浪费它。它很容易安装,其 API 简单而高效。我们愿意将 spaCy 视为自然语言处理领域的 Ruby on Rails。


所以当你准备开始做一些真正的工作时,你需要先安装 spaCy 和至少一个语言模型。在下面这个例子中我们将使用它的英语语言模型。库和语言模型只需几行代码即可安装:


pip install spacypython -m spacy download en
复制代码


要开始使用 spaCy,我们将使用示例文本的这句话:


sample = u"I can't imagine spending $3000 for a single bedroom apartment in N.Y.C."
复制代码


现在我们导入 spaCy 和一个英文停用词列表。我们还将英语语言模型作为 Language 对象加载(根据 spaCy 约定,我们将其称为“nlp”),然后在示例文本上调用 nlp 对象,它会返回一个经过处理的 Doc 对象(我们将其称为“doc”)。


import spacyfrom spacy.lang.en.stop_words import STOP_WORDSnlp = spacy.load('en')doc = nlp(sample)
复制代码


这样就行了?根据 spaCy文档


即使一个 Doc 经过了处理——例如拆分为单个单词并注释——它仍包含原始文本的所有信息,如空格字符。你随时可以将一个符号(token)的偏移量获取到原始字符串中,或​​者将符号及其尾随空格连接起来来重建原始字符串。这样,在使用 spaCy 处理文本时,你永远不会丢失任何信息。


现在我们来看看处理过的样本:


# Print out tokensprint("Tokens:\n=======)for token in doc:    print(token)# Identify stop wordsprint("Stop words:\n===========")for word in doc:    if word.is_stop == True:        print(word)# POS taggingprint("POS tagging:\n============")for token in doc:    print(token.text, token.lemma_, token.pos_, token.tag_, token.dep_,          token.shape_, token.is_alpha, token.is_stop)# Print out named entitiesprint("Named entities:\n===============")for ent in doc.ents:    print(ent.text, ent.start_char, ent.end_char, ent.label_)
复制代码

 

Tokens:=======Ican'timaginespending$3000forasinglebedroomapartmentinN.Y.C.Stop words:===========caforainPOS tagging:============I -PRON- PRON PRP nsubj X True Falseca can VERB MD aux xx True Truen't not ADV RB neg x'x False Falseimagine imagine VERB VB ROOT xxxx True Falsespending spend VERB VBG xcomp xxxx True False$ $ SYM $ nmod $ False False3000 3000 NUM CD dobj dddd False Falsefor for ADP IN prep xxx True Truea a DET DT det x True Truesingle single ADJ JJ amod xxxx True Falsebedroom bedroom NOUN NN compound xxxx True Falseapartment apartment NOUN NN pobj xxxx True Falsein in ADP IN prep xx True TrueN.Y.C. n.y.c. PROPN NNP pobj X.X.X. False FalseNamed entities:===============3000 26 30 MONEYN.Y.C. 65 71 GPE
复制代码


spaCy 功能强大、坚持己见(opinionated),可用于从预处理到表示再到建模的各种 NLP 任务。查看 spaCy文档,看看你可以用它做哪些事情。

4.Hugging Face Transformers


Hugging Face 的 Transformers 库已成为 NLP 实践不可或缺的一部分,这一点再怎么强调也不为过。根据 GitHub 存储库的介绍:


用于 PyTorch 和 TensorFlow 2.0 的一流自然语言处理

 

Transformers 提供了数千个预训练模型,可以对 100 多种语言的文本执行分类、信息提取、问答、摘要、翻译、文本生成等任务。它的目标是让所有人都更容易使用尖端的 NLP 技术。

 

Transformers 提供了很多 API,可以用来在给定文本上快速下载和使用这些预训练模型,在你自己的数据集上对它们进行微调,然后在我们的模型中心与社区共享。同时,定义架构的 python 模块都可以作为一个独立的模块进行修改,以实现快速的研究实验。

 

Transformers 由两个最流行的深度学习库 PyTorch 和 TensorFlow 提供支持,它们之间无缝集成,允许你使用一个模型来训练你的模型,然后加载它来推理另一个。


你可以使用Write With Transformer在线测试 Transformer 库,这是该库的官方功能演示。

 

这个很复杂的库安装起来却很简单:


pip install transformers
复制代码


Transformers 库包罗万象,你可以花很多时间学习它的所有细节。然而,它自带的管道 API 让你可以立即使用模型,几乎不需要配置。以下是使用 Transformers 管道进行分类的一个示例(请注意,应先安装 TensorFlow 或 PyTorch 才能继续):


from transformers import pipeline# Allocate a pipeline for sentiment-analysisclassifier = pipeline('sentiment-analysis')# Classify textprint(classifier('I am a fan of KDnuggets, its useful content, and its helpful editors!'))
复制代码

 

[{'label': 'POSITIVE', 'score': 0.9954679012298584}]
复制代码


多简单,很有趣吧。这个管道使用了一个预训练的模型以及用于该模型的预处理,即使没有微调,结果也非常不错。

 

下面是第二个管道示例,这次是问题回答:


from transformers import pipeline# Allocate a pipeline for question-answeringquestion_answerer = pipeline('question-answering')# Ask a questionanswer = question_answerer({	'question': 'Where is KDnuggets headquartered?',	'context': 'KDnuggets was founded in February of 1997 by Gregory Piatetsky in Brookline, Massachusetts.'})# Print the answerprint(answer)
复制代码

 

{'score': 0.9153624176979065, 'start': 66, 'end': 90, 'answer': 'Brookline, Massachusetts'}
复制代码


当然上面是一对简单的示例,但这些管道非常强大,绝不止是解决一些与 KDnuggets 相关的琐碎任务那么简单!你可以在此处阅读有关管道的更多信息。

 

Transformers 让最先进的模型也能轻松供所有人使用。请访问它的 GitHub存储库,探索更多精彩。

5.Scattertext


Scattertext 用于创建吸引人的可视化图像,来描述语言在不同文档类型之间的差异。根据其 GitHub 仓库的介绍:


这是一种用于在语料库中查找区分术语,并将它们呈现在交互式 HTML 散点图中的工具。与术语对应的点被有选择地标记出来,防止它们与其他标签或点重叠。


还没搞懂的话,我们先来安装它:


pip install scattertext
复制代码


以下示例来自它的 GitHub 存储库,可视化了 2012 年美国大选中使用的术语。


2,000 个与党派最相关的一元分词(unigram)显示为散点图中的点。它们的 x 轴和 y 轴分别是共和党和民主党发言人使用它们的密集等级。


请注意,运行示例代码会生成一个 HTML 文件,然后可以在浏览器中查看该文件并与之交互。


import scattertext as stdf = st.SampleCorpora.ConventionData2012.get_data().assign(    parse=lambda df: df.text.apply(st.whitespace_nlp_with_sentences))corpus = st.CorpusFromParsedDocuments(    df, category_col='party', parsed_col='parse').build().get_unigram_corpus().compact(st.AssociationCompactor(2000))html = st.produce_scattertext_explorer(    corpus,    category='democrat', category_name='Democratic', not_category_name='Republican',    minimum_term_frequency=0, pmi_threshold_coefficient=0,    width_in_pixels=1000, metadata=corpus.get_df()['speaker'],    transform=st.Scalers.dense_rank)open('./demo_compact.html', 'w').write(html)
复制代码


查看时保存的 HTML 文件的结果(下面显示的是静态图像,因此不是交互式的):



Scattertext 的用途很窄,但效果很好。它的可视化输出绝对很漂亮,而且富含见解。

 

原文链接:https://www.kdnuggets.com/2021/02/getting-started-5-essential-nlp-libraries.html

2021 年 7 月 26 日 10:22837

评论

发布
暂无评论
发现更多内容

Rainbond通过插件整合ELK/EFK,实现日志收集

北京好雨科技有限公司

Kubernetes PaaS ELK Stack rainbond

新一代人工智能院士高峰论坛-视觉预训练大模型及其在智慧城市中的应用分论坛顺利举办

OpenI启智社区

人工智能 智慧城市 预训练大模型

openEuler高琨:积极推动开源合规 助力供应链安全

科技热闻

57 K8S之自动弹性缩放

穿过生命散发芬芳

k8s 28天写作 12月日更

几个超火的编程网站,别错过!

程序员鱼皮

CSS JavaScript html 前端 后端

为什么?为什么要先问目的?(27/28)

赵新龙

28天写作

百度智能云 AI 公有云服务市场,连续五次第一!

百度大脑

人工智能

LR.Java低代码自主搭建企业组织架构

力软.net/java开发平台

从产品角度探索采控的快速交付

鲸品堂

交付工具

Spring Boot 最核心的 25 个注解,都是干货!

CRMEB

ShardingSphere Mode 模式新起航:运行模式详解

SphereEx

开源 ShardingSphere SphereEx 运行模式 分布式治理

HarmonyOS(鸿蒙)——滑动事件之上下左右滑动

李子捌

28天写作 21天挑战 鸿蒙开发 12月日更

低代码实现探索(十)流程执行器

零道云-混合式低代码平台

龙蜥操作系统通过工信部电子标准院首批开源项目成熟度评估

OpenAnolis小助手

国产操作系统 龙蜥社区

都在说边缘计算,它到底是用来干啥的?

火山引擎边缘计算

云计算 边缘计算 虚拟化 算力

首颗云原生边缘计算卫星升空,与KubeEdge一起探索“智慧太空”

科技热闻

物联网资产管理系统解决方案

低代码小观

物联网 资产管理 CRM 企业管理系统 CRM系统

从0到1带你深入理解log4j2漏洞

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 安全漏洞

为什么很难得出结论

将军-技术演讲力教练

低代码实现探索(十一)流程中的动作执行器

零道云-混合式低代码平台

淘特 Flutter 流畅度优化实践

阿里巴巴移动技术

flutter 移动端 flutter 调试工具

前端规范落地,团队级的解决方案

德育处主任

前端 代码规范 规范 eslint git规范

低成本、低功耗、小体积433MHz数字量无线控制器

不脱发的程序猿

DIY 无线通信 智能硬件 创客开发

绩效评估的why&how

mtfelix

28天写作

第一财经年终总结

石云升

读书笔记 28天写作 12月日更

《PyTorch 深度学习实战》复习完成2

IT蜗壳-Tango

28天写作 12月日更

5个流行的自然语言处理库及入门用法_文化 & 方法_Matthew Mayo_InfoQ精选文章