AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

斯坦福开源 Python 库 StanfordNLP,可处理 53 种人类语言

  • 2019-03-18
  • 本文字数:2829 字

    阅读完需:约 9 分钟

斯坦福开源Python库StanfordNLP,可处理53种人类语言

近期,斯坦福大学自然语言处理小组开发了一个 Python 库 StanfordNLP,用于解决许多常见的自然语言处理问题,可以处理多达 53 种人类语言模型,便于数据科学家和 Python 开发人员使用。

语言

StanfordNLP 提供了针对53种人类语言的预训练的深度学习模型,并使用PyTorch作为其机器学习的入门。


每种语言都有一个treebank,它是一个巨大的文本数据集,为语法结构/语义内容进行了可靠的注释。对于某些语言,库中提供了不只一个 treebank。


如果你想要拥有自己的带注释的语料库(这种情况并不常见!),那么你可以基于语料库训练一个新的模型。



解析这句话!

范围

这个库提供下列服务:


  • 将给定的文本分成句子和单词(符号化)。符号化是指将一个文本(“The day of the groundhog attracts attention”)转换成七个单词的序列(“The”,“day”,“of”,“The”,“groundhog”,“caught”,“attention”)。

  • 为给定的单词指定一个基本形式(词形归并)。词形归并工具会将“attraction”、“attractive”和“attractive”与同一个词形(例如“attract”)联系起来。

  • 在一个句子中,把单词和词性联系起来。所以“day”是名词,“attract”是动词。

  • 单词有形态特征,如单数或现在进行时。这个库也会提供帮助。

  • 它还可以产生句子的句法结构。

  • 最后,StanfordNLP 可以与名气更大、应用范围更广泛的 Stanford CoreNLP 进行整合。


在这篇文章中,我们将探讨符号化、词性和形态学特征。



StanfordNLP 管道

管道

Vish (Ishaya) Abrams 在文章中很好地解释了机器学习中的管道。为了这个目的,我们可以将库看作是一组组件的序列,这些组件的执行方式是,一个组件的输出是另一个组件的输入(一部分)。这种设计允许替换管道中的一个专用组件,同时保留其余组件。


考虑到文本在管道中流动,那么文本会经过不同步骤的处理。


在 StanfordNLP 中,管道与语言和 treebank 相关联。详细信息请看这里(https://stanfordnlp.github.io/stanfordnlp/pipeline.html),但你现在还不需要它们。StanfordNLP 管道用于模型评估,而不是模型训练。

安装

在进行其他步骤之前,我们需要先安装这个库。Python 3.6 或之后的版本可用。正如开发人员所解释的,安装 StanfordNLP 最简单的方法是使用 pip:


pip install stanfordnlp


之后,下载我们想要使用的语言,例如:


import stanfordnlp

#You only download languages once

#Each language requires more that 1GB of disk space

#It takes time… have a coffee!

stanfordnlp.download(‘en’)

stanfordnlp.download(‘es’)

stanfordnlp.download(‘fr’)


接下来是在哪里存储下载的语言包。这一步我们建议使用缺省值。下载完成后,你可以检查每种语言都有一个对应的文件夹,其中保存了许多 PyTorch 模型,这些模型将用于我们将要介绍的各种 NLP 任务。

词性标注及其有用的原因

词性标注是复杂的 NLP 活动中的一项基本任务。想一下文本分类、情感分析或信息索引和检索。建立文本的基本语法结构为进一步的文本处理奠定了基础。

解析和标记一个句子

我们以下面的法语为例:


Si ce discours semble trop long pour être lu en une fois, on le pourra distinguer en six parties (René Descartes, Discourse on the method)

中文大意:如果这句话对于你来说太长了,不能一次读完,你可以把它分为六部分(雷内·笛卡尔,关于方法的言论)


但是别担心,我们会把这句话变得简短很多!让我们来分析笛卡尔的句子,评估一下每个单词在其中的作用。符号化和词性标注开始发挥作用。


import stanfordnlp# English is the default language, so you# just invoke stanfordnlp.Pipeline()# For Spanish you would call # stanfordnlp.Pipeline(lang="es", treebank="es_ancora")# This sets up a neural pipeline in Frenchnlp = stanfordnlp.Pipeline(lang="fr", treebank="fr_gsd")# a document is made of sentencesdoc = nlp("Si ce discours semble trop long pour être lu en une fois, on le pourra distinguer en six parties")# we pick our first and only sentenceonly_sentence = doc.sentences[0]
# a sentence is made of words. # Each word is tagged with a part of speech (POS)# Good pythonic guys prefer list comprehensions over for loops!print(" ". join(["{} ({})".format(word.text, word.upos) for word in only_sentence.words]))
复制代码


在一些信息量丰富的消息之后,我们得到单词列表,每个单词都附在其相应的词性上:


Si (SCONJ) ce (DET) discours (NOUN) semble (VERB) trop (ADV) long (ADJ) pour (ADP) être (AUX) lu (VERB) en (ADP) une (DET) fois (NOUN) , (PUNCT) on (PRON) le (PRON) pourra (VERB) distinguer (VERB) en (ADP) six (NUM) parties (NOUN)
复制代码


以上这些可以告诉我们,six 是一个数字决定因素,而 parties 是一个名词。请注意,当 lu 被标识为动词时, être 被标记为助动词。


StanfordNLP 利用了语音集的通用部分,它的优点是适用于多种语言。但是,只要有 treebank 的支持,属性 pos 也会使用和显示语言的特定词性。其他 NLP 库(如spacy)也使用通用的和某种语言特有的语音集部分。



Chomsky 的玩笑

处理一词多义

现在我们用这个库开个小玩笑。我们想知道这个英语句子的词性:


I book the book while you stand by the stand


在同一个句子中,不仅 book 和 stand 有两种不同的含义。它们也充当动词和名词。运行这句话的类似代码,我们会得到:


I (PRON) book (VERB) the (DET) book (NOUN) while (SCONJ) you (PRON) stand (VERB) by (ADP) the (DET) stand (NOUN)
复制代码


我用这个简单的例子引起读者的注意力,它表明词性标记已经超出了在字典中查找单词,词的句法结构决定了词性。这就是伴随着库出现的学习模型在显示其作用。

形态学特征

除了通用形式和特定于语言形式的词性外,这个库中的单词分类里还带有单词的形态特征(请注意文档中可能出现的一个故障,该属性在文档中被称为 ufeats)。


我们运行以下代码:


en_nlp = stanfordnlp.Pipeline()doc = en_nlp("My taylor is drunk") only_sentence = doc.sentences[0]print(" ". join(["{} ({} - {})".format(word.text, word.upos, word.feats) for word in only_sentence.words]))
复制代码


我们得到:


My (PRON - Number=Sing|Person=1|Poss=Yes|PronType=Prs)taylor (NOUN - Number=Sing) is (AUX - Mood=Ind|Number=Sing|Person=3|Tense=Pres|VerbForm=Fin) drunk (ADJ - Degree=Pos)
复制代码


每个词都有自己的特点,但不只是名词和动词。要理解上述内容,可以查找此索引。例如,Degree=Pos 意味着positive,一级。注意,drunk 被定义为形容词,不是动词。

关闭

我想今天这些就够了。我们喜欢库,觉得使用它很舒服。当文档不足时,你可以查看源代码来帮助你理解。接下来,我们将完成对 StanfordNLP 提供的其他功能的理解。


更多信息:https://gitconnected.com/learn/python


原文链接:https://levelup.gitconnected.com/first-look-at-stanfordnlp-2b7d43190957


2019-03-18 17:474077
用户头像

发布了 124 篇内容, 共 47.9 次阅读, 收获喜欢 177 次。

关注

评论

发布
暂无评论
发现更多内容

JAVA 面向对象 (十二)-- 关键字this

加百利

Java 关键字 this 6月日更

Vue Conf关于Vite的分享给我带来的启发

前端森林

vite esm Vue 3

用超出行业平均薪资招人?

石云升

职场经验 管理经验 6月日更

云管理平台建设,这项功能必不可缺 ↓

BoCloud博云

云管理平台

Facebook Chat真的是世界第三大即时通讯客户端吗?

BeeWorks

让AI发展避开“暗礁”,索信达控股推出自研区块链+联邦学习解决方案

索信达控股

区块链 金融科技 联邦学习 金融监管 风控

Spring @Transactional 注解是如何执行事务的?

程序员小航

Java MySQL spring 事务 代理

法国政府的"安全 "WhatsApp替代品在短短90分钟内被破解

BeeWorks

使用高级视频质量工具 AVQT 评估视频 | WWDC 演讲实录

网易云信

机器学习 算法 音视频

未来法律科技发展现五大趋势,区块链、AI、大数据吸引资本目光

CECBC

电梯“惊魂”事故频频发生,可视化全平台覆盖,远程值守高效监控

一只数据鲸鱼

数据可视化 智慧城市 智慧园区 智慧电梯

CloudQuery 使用教程之《No.2数据查询(上)》

BinTools图尔兹

sql dba 数据库管理工具 国产数据库 开发运维

深度学习分类任务常用评估指标

华为云开发者联盟

机器学习 深度学习

存储大师班:NFS 的诞生与成长

青云技术社区

存储 分布式存储 NFS

在北鲲云超算平台上做球体落入水中的流固耦合仿真模拟记录

北鲲云

数字化时代,为什么解决信任问题是科技公司最重要的事情?

CECBC

作为后端开发者的思考:如何看待如今的前端架构

吴脑的键客

大前端 后端

🏆「终」【JVM 性能调优】「CMS 垃圾回收器」优化实战分析(补充版)

码界西柚

CMS JVM GC调优 6月日更

技术解密 |阿里云多媒体 AI 团队拿下 CVPR2021 5 冠 1 亚成绩的技术分享

阿里云CloudImagine

阿里云 AI 计算机视觉 经验分享 CVPR

数仓备机DN重建:快速修复你的数仓DN单点故障

华为云开发者联盟

数据仓库 主机 华为云 备机 DN

社群编码识别黑灰产攻击实践

百度Geek说

CloudQuery 安全系列(一): Http 与 Https

BinTools图尔兹

数据库 网络安全 https 数据安全 数据库管理

什么是SSD Sanitize数据擦除技术?

怀瑾握瑜

存储 SSD 数据保护 备份 删除

华为云数据库GaussDB(for Cassandra)揭秘:内存异常增长的排查经历

华为云开发者联盟

nosql 云原生 Cassandra 华为云数据库 GaussDB(for Cassandra)

云小课 | MRS基础入门之HDFS组件介绍

华为云开发者联盟

hadoop hdfs 分布式文件系统 MapReduce服务 数据读写

英特尔拥抱开源,岂能没有杀手锏?

E科讯

英特尔院士Johanna Swan:极致的异构集成是半导体封装未来趋势

E科讯

透过 3.0 Preview 看 Dubbo 的云原生变革

try catch

WICC 2021来袭 融云领衔探索互联网通信云技术新方向

融云 RongCloud

解密开源技术的污点

BeeWorks

安卓工控主板显示接口有哪些呢?

双赞工控

安卓主板 工控主板 ARM开发主板

斯坦福开源Python库StanfordNLP,可处理53种人类语言_AI&大模型_Angel Salamanca_InfoQ精选文章