写点什么

Google 神经机器翻译系统实现 Zero-Shot 翻译

2017 年 2 月 09 日

AI

Google 去年晚些时候宣布他们已经将机器学习应用到谷歌翻译服务中,得到的神经网络模型可以实现"Zero-Shot"翻译。

Zero-Shot 翻译是指对不存在显式训练或者映射的语言对之间短语的翻译。当使用中介语言作为路径对以前未进行直接互译训练的语言或短语进行翻译时,经过训练的神经网络得到的效果让研究人员也很惊讶。研究人员指出,新系统的动态数据可视化为不同语言间的共享语义表示或者中介语言提供了早期证据。这也是更高效的翻译程序全部由神经网络自己产生的证据。

过去 10 年间,谷歌翻译已经从几种语言发展为支持 103 种语言,每天翻译超过 140 亿单词。应用神经网络来提高翻译的准确度和效率的动机是神经网络在很多其他领域的成功。

这一发现的关键问题是,是否可以在这样一些语言对之间进行翻译:它们之前从未配对,但是具有一些辅助路径进行连接,例如英语到韩语,韩语到日语,然后从英语推测日语。

谷歌团队声称,他们可以在不改变核心翻译模型的情况下实现该模型,其中包括编码器、解码器和注意力(Attention)。GNMT(Google Neural Machine Translation System,谷歌神经翻译系统)的一些细节表明它是使用双向递归神经网络来对传递到解码器的单词进行编码以预测目标语言单词,但是它与最近发表的论文中的 Zero-Shot 翻译模型的相似点和不同点还不明确。Google 声称:

…与 Google 的基于短语的翻译系统相比,GNMT 的翻译错误平均减少了 60%…在 WMT’14 英语到法语和英语到德语的基准测试中,GNMT 得到了与目前最好成绩相近的结果。通过对一组孤立的简单句子进行人为并行评估,与 Google 的基于短语的翻译系统相比,它将翻译错误平均减少了 60%。

输入单词用目标语言标记,而不是源语言。Google 注意到:

不指定源语言具有潜在的缺点,也就是在翻译来自不同源语言具有相同拼写但不同含义的单词时,可能产生歧义,但是优点是其更加简单,并且我们可以通过代码切换来处理输入。我们发现,在几乎所有的情况下,上下文可以提供足够的语言信息来生成正确的翻译。

Zero-shot 网络:

…其中包括由 8 个编码器层和 8 个解码器层组成的深度 LSTM 网络,通过注意力(Attention)和残差(Residual)连接…对从未进行直接互译训练的语言对执行隐式连接,这说明迁移学习和 Zero-Shot 翻译对神经翻译来说是可能的。

虽然翻译质量的改善已经取得立竿见影的效果,但可拓展性依然是今后持续努力的重点,其目标是支持所有的 103 种语言。GNMT 系统的公开可用的产品版本已经支持最近添加的 16 种语言中的 10 种。

阅读英文原文: Zero-Shot Translation with Google Neural Machine Translation System


感谢冬雨对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017 年 2 月 09 日 18:002909
AI

评论

发布
暂无评论
发现更多内容

云原生负载均衡和网关应用实践

火山引擎开发者社区

云原生 后端

AQS介绍和原理分析(下)

追风少年

并发编程 AQS

一文看懂 Context

Rayjun

go

Ubuntu 如何强制时间同步

HoneyMoose

花2个月备战字节,3轮面试拿下总包60W Offer!

Java架构师迁哥

仅靠七个步骤,4面通过拿offer,终“跳进”字节跳动

菜菜山

Java 程序员 架构 面试

Linux之which命令

入门小站

Linux

发布两小时,霸榜GitHub!Spring Boot实战文档

神奇小汤圆

Java 编程 程序员 架构 面试

Python协程 & 异步编程(asyncio) 入门介绍

行者AI

#python

专科出身,2年进入苏宁,5年跳槽阿里,论我是怎么快速晋升的?

菜菜山

Java 程序员 架构 面试

大专的我,闭关苦学56天,含泪拿下阿里offer,五轮面试,六个小时灵魂拷问

Java架构师迁哥

设计思想解读开源框架:“23种设计模式知识要点”都没读通过,还有脸说摸不清搞不懂?

不秃顶的Java程序员

Java 源码 程序员 架构 设计模式

从特斯拉召回事件,窥探OTA汽车进化真面目

脑极体

CVPR2021竞赛结果出炉,阿里淘系多媒体算法包揽3项国际冠军

阿里巴巴淘系技术

CVPR

新能源车的发展趋势

石云升

学习笔记 新能源汽车 7月日更

华为大神珍藏版:SpringBoot全优笔记,面面俱到太全了

神奇小汤圆

Java 编程 架构 微服务

腾讯云大神亲码“redis深度笔记”,不讲一句废话,全是精华

菜菜山

Java redis 编程 架构 面试

七月新开始

IT蜗壳-Tango

7月日更

看完这20W字Java性能实战经验手册,已经涨薪2W,回家媳妇把我当大爷伺候!

喝酸奶不舔盖

全表遍历并处理数据有点慢?放开!我来!

林一

jpa Stram @QueryHints

BATJ2021最新最全Java面试汇总,Java后端高频考点300+(含答案)

神奇小汤圆

Java 程序员 架构 面试

利用 IComparable<T> 以及 IComparer<T> 定义顺序关系

喵叔

7月日更

为什么AI需要大大大大大模型?

脑极体

08 | 指针系列(二):记住,指针变量也是变量(2)

Nydia

ipfs矿机合法吗?ipfs挖矿为什么要质押币和gas费?

v:IPFS456

ipfs矿机合法吗? ipfs挖矿为什么要质押币

面试命中率90%!面试官:你知道MySQL锁吗?5分钟我让他刮目相看

java专业爱好者

Java MySQL

为什么AI需要大大大大大模型?

白洞计划

在线HTML转JS/JSON工具

入门小站

工具

将 FeignClient 的请求记录成 cURL 格式

哈德韦

微服务架构 前后端分离 log4j curl Spring boot Feign

2022秋春招/提前批面经分享总结(字节、腾讯、阿里)

学无止境的阿奔

腾讯 面试 阿里 字节 校招

网络攻防学习笔记 Day62

穿过生命散发芬芳

网络攻防 7月日更

技术为帆,纵横四海- Lazada技术东南亚探索和成长之旅

技术为帆,纵横四海- Lazada技术东南亚探索和成长之旅

Google神经机器翻译系统实现Zero-Shot翻译-InfoQ