GMTC全球大前端技术大会(北京站)门票9折特惠截至本周五,点击立减¥480 了解详情
写点什么

Facebook 转向神经网络机器翻译(NMT)

2017 年 8 月 21 日

Facebook 近期宣布面向全球推出 NMT (神经网络机器翻译,Neural Machine Translation)。从基于短语的翻译模型转向 NMT,使得 Facebook 可以支持超过两千种的语言互译,并达到了每天 45 亿次的翻译量。据 Facebook 介绍,NMT 使得 BLUE 分值增加了 11%。 BLEU 是一种广为使用的翻译评分机制。

撰写该博文的工程师 Juan Miguel Pino、Alexander Sidorov 和 Necip Fazil Ayan 使用 Caffe2 实现了 2.5 倍的性能提升。Caffe2 是 Facebook 于今年早期开源的一个机器学习框架。

NMT 实现如此质量翻译的关键,在于它使用的 RNN(Recurrent Neural Network)是一种具有注意机制(Attention)的Seq2Seq(Sequence-to-Sequence) LSTM (long short-term memory)。这样的系统充分考虑到了原始语句的上下文以及该语句之前的全部内容,用于生成更为准确的翻译内容。这使得在翻译中可以使用长距离调序规则(Long-distance Reordering),解决了一些存在于英语 - 土耳其语和英语 - 希腊语等语言互译中的问题。

LSTM 的注意机制(Attention)在处理翻译中未知词汇上非常有用,它将翻译软对齐到由训练数据构建的双语语料库,并使用了削减词汇量(Vocabulary reduction)方法,在避免对翻译质量产生显著影响的情况下,有效地降低了计算时间。

FB Learner Flow 框架用于快速并准确地调优每一种语言互译所使用的参数。3.7% 的英语 - 西班牙语互译 BLEU 分值增加来自于该框架的贡献。

作为项目的一部分,Facebook 将 RNN 贡献到 Caffe2 项目中,并作了开源。同时,Facebook 的FAIR(Facebook’s Artificial Intelligence Research)研究团队已经公开发表了他们在机器翻译中使用 CNN(convolutional neural networks)的方法。

Google 在 2016 年就发布了用于 Google 翻译的 NMT ,先于 Facebook 此次发布达多个月。而在一个月前,Google 宣布了 Multimodel 神经网络模型这一突破性进展

查看英文原文: Facebook Transitioning to Neural Machine Translation

2017 年 8 月 21 日 19:001138
用户头像

发布了 226 篇内容, 共 61.1 次阅读, 收获喜欢 17 次。

关注

评论

发布
暂无评论
发现更多内容

大厂码农涨薪10k的秘诀:JVM的类加载机制你是否理解到这个程度?

java专业爱好者

Java JVM

perf + 火焰图用法 小结

hashyong

程序员 架构 5月日更 perf

小谈音视频质量检测

箭上有毒

音视频 5月日更

架构实战训练营 - 模块4 - 作业

Presley

K8s二开之 client-go 初探

雪雷

golang Kubernetes

Python 之父爆料:明年至少令 Python 提速 1 倍!

Python猫

Python

模块4作业

Geek_2e7dd7

架构训练

一文看懂 slice

Rayjun

go

用 Python 打印九九乘法表 - DAY7

Qien Z.

Python 5月日更

网络攻防学习笔记 Day16

穿过生命散发芬芳

5月日更 网络攻防

想要做网页游戏怎么办 ?PixiJs 篇(四)

空城机

JavaScript 前端 游戏 pixi 5月日更

《Redis入门指南(第 2 版)》读后感

codists

redis

JAVA中Abstract到底有什么用?都用在哪些方面比较合适?

读字节

Java mvc struts 设计模式

数据挖掘从入门到放弃(三):朴素贝叶斯

数据社

机器学习 5月日更

<精益创业>读后感

Bruce Talk

敏捷 随笔 Agile

学会这12个Java开发框架轻松拿到30K+

北游学Java

Java spring Netty mybatis 框架

高耦合:为何代码一直被绑架?

Jxin

利用Nginx流量镜像,优雅的接入waf

运维研习社

nginx WEB安全 waf 5月日更

架构师实战营 模块四作业(设计千万级学生管理系统的考试试卷存储方案)

Geek_0669f7

架构实战营

10年后,区块链的世界将会变成什么样子?

CECBC区块链专委会

行车数据上链,国产汽车很上道

CECBC区块链专委会

cri-o技术探秘3

xumc

Docker 容器 cri-o pinns

重学Scrum三大支柱 《Scrum指南》重读有感(1)

Bruce Talk

Scrum 敏捷 随笔 Agile

【LeetCode】数组中两个数的最大异或值Java题解

HQ数字卡

算法 LeetCode 5月日更

架构实战营模块4作业

En wei

架构实战营

架构师实战营 模块四总结

Geek_0669f7

架构实战营

Vue3能用到生产环境了吗?

十三

vue.js Vue Vue3

SaaS的前世、今生与未来[下篇]

LigaAI

SaaS

zstd c++ string 压缩&解压

hashyong

c++ 程序员 架构 5月日更 zstd

我的Serverless实战—玩转腾讯云Wordpress

liuzhen007

Serverless 5月日更

前端之变(一):技术的变与不变

御剑

程序员 架构 前端 代码人生

Facebook转向神经网络机器翻译(NMT)-InfoQ