写点什么

Google 神经机器翻译系统实现 Zero-Shot 翻译

  • 2017-02-09
  • 本文字数:1146 字

    阅读完需:约 4 分钟

Google 去年晚些时候宣布他们已经将机器学习应用到谷歌翻译服务中,得到的神经网络模型可以实现"Zero-Shot"翻译。

Zero-Shot 翻译是指对不存在显式训练或者映射的语言对之间短语的翻译。当使用中介语言作为路径对以前未进行直接互译训练的语言或短语进行翻译时,经过训练的神经网络得到的效果让研究人员也很惊讶。研究人员指出,新系统的动态数据可视化为不同语言间的共享语义表示或者中介语言提供了早期证据。这也是更高效的翻译程序全部由神经网络自己产生的证据。

过去 10 年间,谷歌翻译已经从几种语言发展为支持 103 种语言,每天翻译超过 140 亿单词。应用神经网络来提高翻译的准确度和效率的动机是神经网络在很多其他领域的成功。

这一发现的关键问题是,是否可以在这样一些语言对之间进行翻译:它们之前从未配对,但是具有一些辅助路径进行连接,例如英语到韩语,韩语到日语,然后从英语推测日语。

谷歌团队声称,他们可以在不改变核心翻译模型的情况下实现该模型,其中包括编码器、解码器和注意力(Attention)。GNMT(Google Neural Machine Translation System,谷歌神经翻译系统)的一些细节表明它是使用双向递归神经网络来对传递到解码器的单词进行编码以预测目标语言单词,但是它与最近发表的论文中的 Zero-Shot 翻译模型的相似点和不同点还不明确。Google 声称:

…与 Google 的基于短语的翻译系统相比,GNMT 的翻译错误平均减少了 60%…在 WMT’14 英语到法语和英语到德语的基准测试中,GNMT 得到了与目前最好成绩相近的结果。通过对一组孤立的简单句子进行人为并行评估,与 Google 的基于短语的翻译系统相比,它将翻译错误平均减少了 60%。

输入单词用目标语言标记,而不是源语言。Google 注意到:

不指定源语言具有潜在的缺点,也就是在翻译来自不同源语言具有相同拼写但不同含义的单词时,可能产生歧义,但是优点是其更加简单,并且我们可以通过代码切换来处理输入。我们发现,在几乎所有的情况下,上下文可以提供足够的语言信息来生成正确的翻译。

Zero-shot 网络:

…其中包括由 8 个编码器层和 8 个解码器层组成的深度 LSTM 网络,通过注意力(Attention)和残差(Residual)连接…对从未进行直接互译训练的语言对执行隐式连接,这说明迁移学习和 Zero-Shot 翻译对神经翻译来说是可能的。

虽然翻译质量的改善已经取得立竿见影的效果,但可拓展性依然是今后持续努力的重点,其目标是支持所有的 103 种语言。GNMT 系统的公开可用的产品版本已经支持最近添加的 16 种语言中的 10 种。

阅读英文原文: Zero-Shot Translation with Google Neural Machine Translation System


感谢冬雨对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017-02-09 18:004505

评论

发布
暂无评论
发现更多内容

2023-06-22:一所学校里有一些班级,每个班级里有一些学生,现在每个班都会进行一场期末考试 给你一个二维数组 classes ,其中 classes[i] = [passi, totali] 表

福大大架构师每日一题

算法 福大大架构师每日一题

强化学习从基础到进阶-案例与实践[3]:表格型方法:Sarsa、Qlearning;蒙特卡洛策略、时序差分等以及Qlearning项目实战

汀丶人工智能

人工智能 深度学习 强化学习 Qlearning 6 月 优质更文活动

【领域驱动设计专题】一文带领你透视DDD领域驱动模型的本质和设计原理分析指南(基本概念篇)

码界西柚

领域驱动设计 DDD 领域驱动模型DDD 中台架构 领域驱动模型

2023-06-23:redis中什么是缓存击穿?该如何解决?

福大大架构师每日一题

福大大架构师每日一题

理论+实践:从原型链到继承模式,掌握 Object 的精髓(二)

Immerse

头一次见单例模式讲的如此透彻

越长大越悲伤

设计模式 单例模式

RWA 成下一轮加密大叙事,PoseiSwap 的价值正在凸显

股市老人

RWA 成下一轮加密大叙事,PoseiSwap 的价值正在凸显

西柚子

TiDB 7.1资源管控和Oceanbase 4.0多租户使用对比

TiDB 社区干货传送门

新版本/特性解读 7.x 实践

TiDB v7.1.0离线升级命令版

TiDB 社区干货传送门

实践案例 版本升级 7.x 实践

强化学习从基础到进阶-常见问题和面试必知必答[3]:表格型方法:Sarsa、Qlearning;蒙特卡洛策略、时序差分等以及Qlearning项目实战

汀丶人工智能

人工智能 深度学习 强化学习 Qlearning 6 月 优质更文活动

Nautilus Chain:模块化Layer3的先行者

股市老人

无处不在 | 亚马逊云科技的 Java 生态

亚马逊云科技 (Amazon Web Services)

Java 开源 jdk

基于CC2530设计智慧农业控制系统

DS小龙哥

6 月 优质更文活动

HAG宣布在INX平台进行STO发行

股市老人

架构实战营-模块1作业

link

跨AZ部署最佳实践之Kafka

焦振清

Nautilus Chain:模块化Layer3的先行者

鳄鱼视界

横看Dubbo-微服务治理之无损上线

M

微服务 dubbo 无损

分布式流处理组件-生产实战:Broker节点负载

谢先生F

kafka 负载均衡 broker

在高度为h的堆中,元素个数最多和最少分别是多少?

福大大架构师每日一题

ChatGPT

时间戳与时区

ScratchLab

skywalking沉了一年的线程池插件bug被我解决了

夏奇

Java Agent Skywalking ClassLoader 字节码增强 开源贡献

RWA 成下一轮加密大叙事,PoseiSwap 的价值正在凸显

BlockChain先知

CC2530+ESP8266与手机APP通信

DS小龙哥

6 月 优质更文活动

符号接在 busybox 中的妙用

ScratchLab

cdc任务同步错误但不会触发告警问题记录

TiDB 社区干货传送门

故障排查/诊断

Google神经机器翻译系统实现Zero-Shot翻译_AI&大模型_Dylan Raithel_InfoQ精选文章