写点什么

Google 神经机器翻译系统实现 Zero-Shot 翻译

2017 年 2 月 09 日

AI

Google 去年晚些时候宣布他们已经将机器学习应用到谷歌翻译服务中,得到的神经网络模型可以实现"Zero-Shot"翻译。

Zero-Shot 翻译是指对不存在显式训练或者映射的语言对之间短语的翻译。当使用中介语言作为路径对以前未进行直接互译训练的语言或短语进行翻译时,经过训练的神经网络得到的效果让研究人员也很惊讶。研究人员指出,新系统的动态数据可视化为不同语言间的共享语义表示或者中介语言提供了早期证据。这也是更高效的翻译程序全部由神经网络自己产生的证据。

过去 10 年间,谷歌翻译已经从几种语言发展为支持 103 种语言,每天翻译超过 140 亿单词。应用神经网络来提高翻译的准确度和效率的动机是神经网络在很多其他领域的成功。

这一发现的关键问题是,是否可以在这样一些语言对之间进行翻译:它们之前从未配对,但是具有一些辅助路径进行连接,例如英语到韩语,韩语到日语,然后从英语推测日语。

谷歌团队声称,他们可以在不改变核心翻译模型的情况下实现该模型,其中包括编码器、解码器和注意力(Attention)。GNMT(Google Neural Machine Translation System,谷歌神经翻译系统)的一些细节表明它是使用双向递归神经网络来对传递到解码器的单词进行编码以预测目标语言单词,但是它与最近发表的论文中的 Zero-Shot 翻译模型的相似点和不同点还不明确。Google 声称:

…与 Google 的基于短语的翻译系统相比,GNMT 的翻译错误平均减少了 60%…在 WMT’14 英语到法语和英语到德语的基准测试中,GNMT 得到了与目前最好成绩相近的结果。通过对一组孤立的简单句子进行人为并行评估,与 Google 的基于短语的翻译系统相比,它将翻译错误平均减少了 60%。

输入单词用目标语言标记,而不是源语言。Google 注意到:

不指定源语言具有潜在的缺点,也就是在翻译来自不同源语言具有相同拼写但不同含义的单词时,可能产生歧义,但是优点是其更加简单,并且我们可以通过代码切换来处理输入。我们发现,在几乎所有的情况下,上下文可以提供足够的语言信息来生成正确的翻译。

Zero-shot 网络:

…其中包括由 8 个编码器层和 8 个解码器层组成的深度 LSTM 网络,通过注意力(Attention)和残差(Residual)连接…对从未进行直接互译训练的语言对执行隐式连接,这说明迁移学习和 Zero-Shot 翻译对神经翻译来说是可能的。

虽然翻译质量的改善已经取得立竿见影的效果,但可拓展性依然是今后持续努力的重点,其目标是支持所有的 103 种语言。GNMT 系统的公开可用的产品版本已经支持最近添加的 16 种语言中的 10 种。

阅读英文原文: Zero-Shot Translation with Google Neural Machine Translation System


感谢冬雨对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017 年 2 月 09 日 18:002698
AI

评论

发布
暂无评论
发现更多内容

激光雷达(LiDAR)技术

澳鹏Appen

人工智能 人工智能大数据 智能驾驶 激光雷达 点云标注

Android AAC音频硬编解码你知道多少?

Engineer-Jsp

HBase底层读写过程

五分钟学大数据

HBase 4月日更

货运物流移动端解决方案:为货运物流行业打造高性能、高粘性的“双端”触点

蚂蚁集团移动开发平台 mPaaS

mPaaS 移动端 智慧物流 移动开发·

荷小鱼 x mPaaS | 借助 H5 容器改善 App 白屏、浏览器兼容等问题

蚂蚁集团移动开发平台 mPaaS

html5 mPaaS 离线包 教育科技

架构实战营模块一作业

日照时间长

架构实战营

1800 美金?Apache ShardingSphere 带薪远程实习招募啦!| 2021 Google 编程之夏

京东科技开发者

Apache 开源 ShardingSphere

基于区块链技术的建筑供应链金融创新

CECBC区块链专委会

区块链

给你看一个开发和运维同学的效率加速器!

CloudQuery社区

DevOps 运维 运维工程师 dba 数据库管理工具

3.2 Go语言从入门到精通:包管理工具之GOPATH

xcbeyond

Golag Go语言从入门到精通 Go 语言 4月日更

阿凡提EGGNETWORK恒价通证+加密社交催生新玩法 EFTalk

币圈那点事

阿里云 RTC QoS 弱网对抗之变分辨率编码

阿里云视频云

WebRTC

Github连夜下架!阿里新产Java全栈面试突击小册太香了

Java架构之路

Java 程序员 架构 面试 编程语言

一体化智能安全防御 京东云星盾安全加速正式发布

京东科技开发者

互联网 网络安全

区块链版「滴滴+Uber」,让出行带来收益

CECBC区块链专委会

移动互联网

入职字节跳动那一天,我哭了(蘑菇街被裁,奋战7个月拿下offer)

云流

Java 编程 程序员 架构 面试

公安重点人员管控系统搭建,智慧派出所系统

13823153121

Github上堪称最全的面试题库(Java岗)到底有多香

钟奕礼

Java 编程 程序员 架构 面试

漫画Nginx的subfilter

运维研习社

nginx 4月日更

盘点几代会声会影图标

奈奈的杂社

构建用户安全评级,UGC智能化审核应用实践

爱奇艺技术产品团队

人工智能

融云企业通信中台解决方案 助力禁毒支队高效协同办公

融云 RongCloud

数字货币,已成为理解现代经济不可排斥的一个因素

CECBC区块链专委会

数字经济

颠覆行业现状,区块链将成短视频行业的革新者

茜茜公主

4月日更

嘉楠科技发布勘智K210-MicroPython 无需寄存器手册就能上手开发

Geek_459987

已拿到8个Offer!阿里巴巴Java面试参考指南(泰山版)

钟奕礼

Java 编程 程序员 架构 面试

为什么拥有云原生数据平台对电信公司很重要?

VoltDB

云原生 5G VoltDB 电信

如何抓住新社交风口下的音视频通讯大潮?

融云 RongCloud

将AI部署到现实?或许你该读读这本书!

澳鹏Appen

人工智能 AI 伦理 人工智能大数据

Java程序员都要懂得知识点:原始数据类型

华为云开发者社区

Java 字符串 StringBuffer 原始数据类型 布尔类型

Adobe国际认证,联合51job,开启国际化人才测评认证!

Adobe国际认证

Google神经机器翻译系统实现Zero-Shot翻译-InfoQ