【QCon】精华内容上线85%,全面覆盖“人工智能+”的典型案例!>>> 了解详情
写点什么

如何入门 PyTorch 自然语言处理?

  • 2022-06-21
  • 本文字数:2598 字

    阅读完需:约 9 分钟

如何入门PyTorch自然语言处理?

本文最初发布于 Exxact 官方博客。


随着人工智能和深度学习程序在未来几年的蓬勃发展,自然语言处理(NLP)将日益普及,而且必要性也与日俱增。PyTorch 自然语言处理是实现这些程序的不错选择。


在本文中,我们将解决一些刚开始潜心研究自然语言处理时可能遇到的浅显的问题,不过我们也会探讨更深层次的问题,并给出恰当的步骤,让你可以着手开发自己的 NLP 程序。

PyTorch 可以用于 NLP 吗?


首先,NLP 是一门应用科学。它是工程学的一个分支,融合了人工智能、计算语言学和计算机科学,旨在“理解”自然语言(即口语和书面语言)。


其次,NLP 并不是指机器学习或深度学习。相反,要教给这些人工智能程序如何处理自然语言,利用其他系统来处理输入到这些程序中的内容。


一些人工智能程序被称为 NLP 程序只是因为这样简单,但严格来说,情况并非如此。在经过适当的训练后,它们能够对语言进行理解,但有一个完全不同的系统和过程在帮助这些程序理解自然语言。


这就是为什么用 PyTorch 进行自然语言处理会很方便。PyTorch基于 Python 构建,它的好处是有预先写好的代码(称为类),而且都是围绕 NLP 设计的。这使得整个过程对每个参与者来说都更简单快捷。


有了这些 PyTorch 类,再加上 PyTorch 可以使用的其他各种 Python 库,没有比它更适合自然语言处理的机器学习框架了。

如何开始学习自然语言处理?


使用 PyTorch 进行自然语言处理,你需要熟悉 Python 编程。


一旦你熟悉了 Python,就会开始接触到大量其他可以用于各种深度学习项目的框架。不过,由于 PyTorch Tensors 的存在,用 PyTorch 进行自然语言处理成了最佳选择。


简单地说,tensors 允许你使用 GPU 进行计算,这可以大大提升使用 PyTorch 开发的 NLP 程序的速度和性能。这意味着你可以加快深度学习程序的训练速度,从而能够利用 NLP 实现自己所期望的结果。


如上所述,PyTorch 为 NLP 及相关程序提供了不同的类,以保证它们良好运转。我们将对其中的六个类及其使用场景进行分析,以便帮助你在一开始时做出正确的选择。

1. torch.nn.RNN


我们要看的前三个类都是多层类(multi-layer classes),这意味着它们可以表示双向递归神经网络。简单来说,它允许深度学习程序从过去的状态中学习,并随着计算继续运行和处理从新的/未来的状态中学习。这使得这些程序能够学习和处理自然语言输入,甚至理解更深层次的语言怪癖。


torch.nn.RNN多对多图


torch.nn.RNN 表示循环神经网络(Recurring Neural Network),从名字就能看出这个类能提供什么。这是 PyTorch 提供的最简单的循环神经网络类,刚开始进行自然语言处理时可以考虑用它。

2. torch.nn.LSTM


torch.nn.LSTM 也是一个多层 PyTorch 类。它具有 torch.nn.RNN 的所有优点,但具有长短期记忆(Long Short Term Memory)。从本质上讲,这意味着使用这个类的深度学习程序可以超越一对一的数据点连接,对整个数据序列进行处理。


在使用 PyTorch 进行自然语言处理时,torch.nn.LSTM 是一个比较常用的类,因为它不仅可以理解手写或打字输入数据,而且还可以识别语音和其他声音。


能够处理更复杂的数据序列,使该类成为希望充分利用自然语言处理潜力的程序的必要组件。

3. torch.nn.GRU


torch.nn.GRU 基于 RNN 和 LSTM 类构建,引入了门控循环单元(Gated Recurrent Units)。简而言之,这意味着 torch.nn.GRU 类程序有一个门控输出。也就是说,它们的功能与 torch.nn.LSTM 类似,但可以简单地忽略那些与其他预期结果或大多数数据集的结论不一致的数据集。


torch.nn.GRU 类程序也是一种使用 PyTorch 开始学习 NLP 的好方法,因为它们比较简单,但可以在比较短的时间内产生与 torch.nn.LSTM 类似的结果。不过,如果程序忽略了对其学习可能很重要的数据集,在没有密切监控的情况下,它们的准确性可能会降低。

4. torch.nn.RNNCell


接下来的三个类是前面三个类的简化版本,所以它们的功能都很接近,但优点不同。这些类都是单元级类(cell-level classes),基本上一次运行一个操作,而不是同时处理多个数据集或序列。


使用PyTorch进行自然语言处理的输出结果,该过程使用了分配给相应图片的单词


这种方式比较慢,但只要有足够的时间,结果会准确得多。RNNCell 程序仍然可以从过去和未来的状态中学习。

5. torch.nn.LSTMCell


torch.nn.LSTMCell 的功能与普通的 torch.nn.LSTM 类相似,能够处理数据集和序列,但不能同时处理多个。与 RNNCell 程序一样,这意味着它速度比较慢,强度较低,但它可以随着时间的推移提高精度。


这些单元级类中的每一个都与它们的前身差别不大,但如果要对这些差异进行深入研究的话,将远远超出本文的范围。

6. torch.nn.GRUCell


用 PyTorch 进行自然语言处理时,最有趣的一个类是 torch.nn.GRUCell。它仍然具有门控输出的功能,这意味着它可以忽略离群数据集,同时仍然可以从过去和未来的操作中学习。


可以说,这个 PyTorch 类更受初学者欢迎,因为它潜力最大,达到最佳效果的要求又最低。


要确保程序得到适当的训练,主要的成本是时间和精力。

使用 PyTorch 实现自然语言处理


关于如何开始使用 PyTorch 进行自然语言处理,还有很多东西需要介绍。在选择了适合自己的深度学习模型的 PyTorch 类后,还有一个重要的因素需要了解,那就是如何在模型中实现 NLP。


要想拥有一个经过充分优化的、可使用的自然语言处理深度学习模型,很明显,将单词编码到模型中大概是最重要的过程之一。使用 PyTorch 进行自然语言处理时需要某种单词编码方法。


有很多方法可以让模型处理单个字母,但创建 NLP 深度学习模型,关注的不是单个单词和字母,而是这些单词和短语的语义和语言学意义。下面是使用 PyTorch 实现 NLP 的三种基本的词嵌入模型:


  • 简单单词编码:训练模型关注序列中每个单独的单词,让它们自己推导出相似性和差异性。这种方法最简单,但可能很难让模型准确理解或预测语义。

  • N-Gram 语言建模:该模型经过训练,在学习单词时会考虑到序列中的其他单词。也就是说,它们可以学习单词之间的关系以及在整个句子中的作用。

  • 连续词袋(CBOW):这是 N-Gram 语言建模的扩展版本。经过训练的深度学习模型可以序列化每个单词之前和之后设定数量的单词,进而深入学习单词与周围单词的关系以及它们在序列中的作用。到目前为止,这是使用 PyTorch 进行自然语言处理最常用的方法。


选好了 PyTorch 类和词嵌入方法后,就可以开始在下一个深度学习项目中利用自然语言处理了!


自然语言处理是深度学习和人工智能领域最热门的话题之一,许多行业都在寻找利用这种深度学习模型的方法,以供内外部使用。


你是怎么想的?准备好用 PyTorch 解决自然语言处理的问题了吗?


原文链接:How to Start Using Natural Language Processing With PyTorch

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2022-06-21 10:072798

评论

发布
暂无评论
发现更多内容

docker限制容器的cpu内存使用率

爱好编程进阶

Java 程序员 后端开发

java中锁的四种状态

爱好编程进阶

Java 程序员 后端开发

Java全栈开发---Java ERP系统开发:商业ERP(七

爱好编程进阶

Java 程序员 后端开发

加入 Flow ,共同成为 Web3的建设者

TinTinLand

区块链

influxdb基础(七)

爱好编程进阶

Java 程序员 后端开发

IntelliJ IDEA 中集成并使用 Git 图文教程

爱好编程进阶

Java 程序员 后端开发

Java EE开发系列教程 - 添加JPA模块

爱好编程进阶

Java 程序员 后端开发

【等保小知识】等保测评是安全认证吗?

行云管家

等保 等级保护 等保测评 安全认证

华为数字化转型实践

乌龟哥哥

4月月更

网络协议之:haproxy的Proxy Protocol代理协议

程序那些事

Java Netty 程序那些事 4月月更

Day163

爱好编程进阶

Java 程序员 后端开发

14岁懂社会-《被你讨厌的昆虫们》读书笔记

懒时小窝

读书笔记 14岁懂社会

技术人的必备特质

Hockor

云管平台有哪几家?现在采购福利哪家好?

行云管家

云计算 混合云 云管平台

搞懂这份大厂Java面试知识点笔记汇总,涨薪15K你也没问题

Java架构追梦

Java 程序员 后端开发

JavaCV人脸识别三部曲之三:识别和预览

爱好编程进阶

Java 程序员 后端开发

Java之Spring Boot入门到精通【IDEA版】SpringBoot整合其他框架

爱好编程进阶

Java 程序员 后端开发

迎战大厂!“金三银四”和通过率达95%的Java面试八股文

Java架构追梦

Java 后端开发 程序员面试

零基础开启 Neo 开发之旅,NEP17 智能合约实战教学

TinTinLand

区块链

最新区块链招聘:高薪招开发产品运营人才

TinTinLand

区块链

Day180

爱好编程进阶

Java 程序员 后端开发

Java中关于内存泄漏分析和解决方案,都在这里了

爱好编程进阶

Java 程序员 后端开发

墨天轮访谈 | 拓扑岭雷鹏:数据库新思维下的弹性压缩与内存计算

墨天轮

数据库 redis 国产数据库 键值数据库

与 Dfinity 明星项目面对面,各大赛道开发经验一览

TinTinLand

区块链

Day06-Java代码操作阿里云oss,开发前准备,开发参考文档

爱好编程进阶

Java 程序员 后端开发

Java 输入一个字符串格式日期,获取对应的自然月开始结束时间,对应的自然年开始结束时间(1)

爱好编程进阶

Java 程序员 后端开发

浪潮信息加入,已完成与龙蜥操作系统产品兼容性验证

OpenAnolis小助手

云计算 服务器 龙蜥社区 CLA 浪潮

Java 输入一个字符串格式日期,获取对应的自然月开始结束时间,对应的自然年开始结束时间

爱好编程进阶

Java 程序员 后端开发

Java8设计模式最佳实战-设计模式概述(第七天学习记录)

爱好编程进阶

Java 程序员 后端开发

JavaWeb静态网页

爱好编程进阶

Java 程序员 后端开发

开发一个不需要重写成Hive QL的大数据SQL引擎

华为云开发者联盟

sql 大数据 mapreduce SQL引擎 大数据仓库

如何入门PyTorch自然语言处理?_AI&大模型_Exxact_InfoQ精选文章