红帽白皮书新鲜出炉!点击获取,让你的云战略更胜一筹! 了解详情
写点什么

Google 神经机器翻译系统实现 Zero-Shot 翻译

  • 2017-02-09
  • 本文字数:1146 字

    阅读完需:约 4 分钟

Google 去年晚些时候宣布他们已经将机器学习应用到谷歌翻译服务中,得到的神经网络模型可以实现"Zero-Shot"翻译。

Zero-Shot 翻译是指对不存在显式训练或者映射的语言对之间短语的翻译。当使用中介语言作为路径对以前未进行直接互译训练的语言或短语进行翻译时,经过训练的神经网络得到的效果让研究人员也很惊讶。研究人员指出,新系统的动态数据可视化为不同语言间的共享语义表示或者中介语言提供了早期证据。这也是更高效的翻译程序全部由神经网络自己产生的证据。

过去 10 年间,谷歌翻译已经从几种语言发展为支持 103 种语言,每天翻译超过 140 亿单词。应用神经网络来提高翻译的准确度和效率的动机是神经网络在很多其他领域的成功。

这一发现的关键问题是,是否可以在这样一些语言对之间进行翻译:它们之前从未配对,但是具有一些辅助路径进行连接,例如英语到韩语,韩语到日语,然后从英语推测日语。

谷歌团队声称,他们可以在不改变核心翻译模型的情况下实现该模型,其中包括编码器、解码器和注意力(Attention)。GNMT(Google Neural Machine Translation System,谷歌神经翻译系统)的一些细节表明它是使用双向递归神经网络来对传递到解码器的单词进行编码以预测目标语言单词,但是它与最近发表的论文中的 Zero-Shot 翻译模型的相似点和不同点还不明确。Google 声称:

…与 Google 的基于短语的翻译系统相比,GNMT 的翻译错误平均减少了 60%…在 WMT’14 英语到法语和英语到德语的基准测试中,GNMT 得到了与目前最好成绩相近的结果。通过对一组孤立的简单句子进行人为并行评估,与 Google 的基于短语的翻译系统相比,它将翻译错误平均减少了 60%。

输入单词用目标语言标记,而不是源语言。Google 注意到:

不指定源语言具有潜在的缺点,也就是在翻译来自不同源语言具有相同拼写但不同含义的单词时,可能产生歧义,但是优点是其更加简单,并且我们可以通过代码切换来处理输入。我们发现,在几乎所有的情况下,上下文可以提供足够的语言信息来生成正确的翻译。

Zero-shot 网络:

…其中包括由 8 个编码器层和 8 个解码器层组成的深度 LSTM 网络,通过注意力(Attention)和残差(Residual)连接…对从未进行直接互译训练的语言对执行隐式连接,这说明迁移学习和 Zero-Shot 翻译对神经翻译来说是可能的。

虽然翻译质量的改善已经取得立竿见影的效果,但可拓展性依然是今后持续努力的重点,其目标是支持所有的 103 种语言。GNMT 系统的公开可用的产品版本已经支持最近添加的 16 种语言中的 10 种。

阅读英文原文: Zero-Shot Translation with Google Neural Machine Translation System


感谢冬雨对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2017-02-09 18:003977

评论

发布
暂无评论
发现更多内容

两行代码实现Redis消息队列,简单易用

高端章鱼哥

redis 消息列队

十种数据库缓存相关的技术和机制

树上有只程序猿

数据库

关于Taro你需要了解这些

Onegun

小程序 taro 小程序架构

面试官:说一下 MyBatis 缓存机制?

王磊

Java Java面试题

GaussDB技术解读系列丨运维自动驾驶探索

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号9月PK榜

【玩转鲲鹏 DevKit系列】如何快速迁移无源码应用?

华为云开发者联盟

后端 开发 华为云 华为云开发者联盟 企业号9月PK榜

软件测试/测试开发丨学会与 AI 对话,高效提升学习效率

测试人

人工智能 AI 软件测试 ChatGPT

ps2024最新版 photoshop 2024 Beta 25.1 内置 Ai 绘图+神经滤镜版,多语言版!

晴雯哥

HarmonyOS应用开发—资源分类与访问

HarmonyOS开发者

HarmonyOS

矩视快问快答

矩视智能

机器视觉 深度学习、

企业文件传输遇到的问题与解决方案

镭速

大文件传输 数据文件传输

传统大数据迁移遇到的问题与解决方案

镭速

大数据迁移

安全检测演进,AIGC融合模糊测试开启新时代

云起无垠

网路安全

软件开发文档大全(项目管理、开发、实施、交付、评审、投标支撑)

金陵老街

Vue java;

教你2种方法,将iOS设备通过MQTT协议连接到华为云物联网平台

华为云开发者联盟

云计算 后端 华为云 华为云开发者联盟 企业号9月PK榜

跟单交易所开发,合约跟单交易系统开发

V\TG【ch3nguang】

12个强大的 JavaScript 动画库,可帮助你提升用户体验

互联网工科生

JavaScript 动画库

NFTScan 正式上线 TON NFTScan 浏览器!

NFT Research

NFT\

云原生Spark UI Service在腾讯云云原生数据湖产品DLC的实践

腾讯云大数据

数据湖

数据艺术,成就科学现代的全面预算管理模式

智达方通

数据分析 数据驱动 智达方通 数据叙事

用户级协议和框架:DPDK、SPDK和VPP的业务场景和发展趋势

统信软件

寻找协调器FindCoordinatorRequest请求流程

石臻臻的杂货铺

Kafk

腾讯云生态以退为进,让「半条命」撑起「半边天」

ToB行业头条

数据库重构之路,以 OrientDB 到 NebulaGraph 为例

NebulaGraph

数据库

XMind for mac (XMind思维导图)v23.08中文激活版

mac

XMind 思维导图软件 苹果mac Windows软件

使用融云 CallPlus SDK,一小时实现一款 1V1 视频应用

融云 RongCloud

android 音视频 通信 API CallPlus SDK

中国智能卡车“遥遥领先”:卡车NOA落地5000万公里0事故,全球首个

Openlab_cosmoplat

人工智能 自动驾驶

ShutdownHook妙用

FunTester

Mac电脑十六进制编辑器 010 Editor 激活永久版

胖墩儿不胖y

代码编辑器 Mac软件

mac电脑推荐 LRTimelapse for Mac延时摄影视频

mac大玩家j

Mac软件 摄影软件 摄影后期处理软件

Google神经机器翻译系统实现Zero-Shot翻译_AI&大模型_Dylan Raithel_InfoQ精选文章