【AICon】 如何构建高效的 RAG 系统?RAG 技术在实际应用中遇到的挑战及应对策略?>>> 了解详情
写点什么

Facebook 转向神经网络机器翻译(NMT)

  • 2017-08-21
  • 本文字数:799 字

    阅读完需:约 3 分钟

Facebook 近期宣布面向全球推出 NMT (神经网络机器翻译,Neural Machine Translation)。从基于短语的翻译模型转向 NMT,使得 Facebook 可以支持超过两千种的语言互译,并达到了每天 45 亿次的翻译量。据 Facebook 介绍,NMT 使得 BLUE 分值增加了 11%。 BLEU 是一种广为使用的翻译评分机制。

撰写该博文的工程师 Juan Miguel Pino、Alexander Sidorov 和 Necip Fazil Ayan 使用 Caffe2 实现了 2.5 倍的性能提升。Caffe2 是 Facebook 于今年早期开源的一个机器学习框架。

NMT 实现如此质量翻译的关键,在于它使用的 RNN(Recurrent Neural Network)是一种具有注意机制(Attention)的Seq2Seq(Sequence-to-Sequence) LSTM (long short-term memory)。这样的系统充分考虑到了原始语句的上下文以及该语句之前的全部内容,用于生成更为准确的翻译内容。这使得在翻译中可以使用长距离调序规则(Long-distance Reordering),解决了一些存在于英语 - 土耳其语和英语 - 希腊语等语言互译中的问题。

LSTM 的注意机制(Attention)在处理翻译中未知词汇上非常有用,它将翻译软对齐到由训练数据构建的双语语料库,并使用了削减词汇量(Vocabulary reduction)方法,在避免对翻译质量产生显著影响的情况下,有效地降低了计算时间。

FB Learner Flow 框架用于快速并准确地调优每一种语言互译所使用的参数。3.7% 的英语 - 西班牙语互译 BLEU 分值增加来自于该框架的贡献。

作为项目的一部分,Facebook 将 RNN 贡献到 Caffe2 项目中,并作了开源。同时,Facebook 的FAIR(Facebook’s Artificial Intelligence Research)研究团队已经公开发表了他们在机器翻译中使用 CNN(convolutional neural networks)的方法。

Google 在 2016 年就发布了用于 Google 翻译的 NMT ,先于 Facebook 此次发布达多个月。而在一个月前,Google 宣布了 Multimodel 神经网络模型这一突破性进展

查看英文原文: Facebook Transitioning to Neural Machine Translation

2017-08-21 19:001984
用户头像

发布了 227 篇内容, 共 70.7 次阅读, 收获喜欢 27 次。

关注

评论

发布
暂无评论
发现更多内容

从人工分析到智能分析,流量分析如何快速上手?

智维数据

智能运维 应用交付 可视化数据 流量分析系统

通用池化框架commons-pool2功能拓展

FunTester

性能优化 - 伪共享

王玉川

c++ 缓存 性能 cpu

软件测试/测试开发 | 如何使用代理配置快速定位接口测试脚本问题?

测试人

软件测试 自动化测试 接口测试 测试开发

C++ 引用:他是坤坤也是鸡哥

子夜的星

c++ 引用 语法 引用参数函数

Verilog HDL门级建模

timerring

FPGA

细胞分裂问题的原创解法

王玉川

原创 算法 递归 LeetCode 动态规划

程序员培训班哪家教的比较好

小谷哥

Java编程培训中心怎么样呢

小谷哥

CBM业务模型是什么和为什么?

涛哥 数字产品和业务架构

企业架构

设计消息队列存储消息数据的 MySQL 表格

小虎

#架构训练营

C++ const与指针

王玉川

c++ 指针 常量 const

NodeJS 实战系列:如何设计 try catch

光毅

JavaScript node.js

数据可视化图表系列解析——瀑布图

Data 探险实验室

数据分析 数据可视化 图表 可视化数据

运维训练营第十二课作业

好吃不贵

一文揭晓,我是如何在Linux中查找自如

蔡农曰

Linux 程序员 运维 后端

架构实战营4.3 存储分片分区架构随堂练习

西山薄凉

「架构实战营」

nCompass为医疗行业信息安全穿上“铠甲”

智维数据

大数据 数据可视化 智能运维 应用交付 流量分析系统

深度学习快速上手——基于 MegEngine 的 LeNet 快速训练与部署

MegEngineBot

深度学习 开源 MegEngine

软件测试/测试开发 | 接口自动化测试如何进行认证?

测试人

软件测试 自动化测试 接口测试 测试开发

web前端线下培训学习靠谱吗?

小谷哥

WEB前端编程培训靠谱吗?

小谷哥

Source Map 原理

道道里

前端 webpack sourcemap

聚焦低碳发电,践行“双碳”之路

脑极体

华为 智能光伏

技术升级落地需要天时、地利、人和

石云升

极客时间 1月月更 技术领导力实战笔记

架构实战营4.2 存储复制架构随堂练习

西山薄凉

「架构实战营」

Perfkit - 性能分析与测量工具集

王玉川

Linux 性能优化 Dockerfile ebpf perf

C++ Lambda表达式

王玉川

c++ Lambda

大数据培训课程靠谱吗?

小谷哥

性能优化 - 访问局部性

王玉川

c++ 性能 cpu 访问局部性

可观测性之网站性能调优的实际案例-小白都看的懂

Yestodorrow

前端 可观测性 网站性能

Facebook转向神经网络机器翻译(NMT)_Meta_Alex Giamas_InfoQ精选文章