免费下载案例集|20+数字化领先企业人才培养实践经验 了解详情
写点什么

做好语音翻译无捷径:语音识别是前提,实时翻译亟待攻破

  • 2019-05-10
  • 本文字数:2898 字

    阅读完需:约 10 分钟

做好语音翻译无捷径:语音识别是前提,实时翻译亟待攻破

在人工智能领域,语音翻译已经不是一个新鲜词汇,这门技术已经广泛应用于我们的日常生活和会议等场景中,且仍具有巨大的应用潜力等待挖掘。现在,语音翻译技术的发展现状如何?此前面临的难点有所突破了吗?今天,AI 前线将通过科大讯飞 AI 研究院副院长王士进,来深入了解这一领域的进步。

语音翻译技术现状

“目前业内语音翻译主流技术路线还是以语音识别+机器翻译的级联方式为主,在部分场景下已经达到了实用的门槛,”王士进在采访中透露。但用过语音翻译产品的人应该都了解,在实际应用场景中,语音翻译技术并不总是让人满意。王士进也坦诚,语音翻译技术想要进一步发展,口语的不规范性、口音、方言的识别,专业领域的翻译效果、翻译的实时性等问题还亟待解决。


在产品层面上,目前的语音翻译产品主要有交替传译和同声传译两种形态。交替传译类有各类翻译机、同声传译类产品,如讯飞的听见同传,能够实现同步文字直播和实时翻译。


同样地,市面上的语音翻译产品并不总能让用户满意。以讯飞翻译机为例,虽然据科大讯飞称这个产品的用户满意度为 99%,但在同声传译等场景下,目前只能做到帮助用户更方便地理解内容,但有时识别效果和翻译效果还会出现一些问题。当然,这也是目前所有同传产品所面临的实际问题。


另外,在语音翻译领域还有一种现象:一些公司宣称在重大比赛项目中获得很好的成绩,准确率再创新高,等等,但当在实际场景中一应用,往往会发现效果并不是很理想,甚至会出现低级错误,比如在英翻中任务中,翻译准确率会大打折扣。那么,这是否意味着仅技术层面的完善并不代表实际应用效果一定会好?


对此,王士进表示,不同语种的翻译效果确实会根据公司的业务发展需要进行侧重优化,最终的效果也是识别、翻译等技术共同决定的。


当然,技术可能只是一方面,另一个很重要的是“涟漪效应”。(注:“涟漪效应”是互联网思维在核心技术研究中的应用,用户一旦使用,数据会送到云计算服务器,云计算服务器可以立即学习更新,利用涟漪效应,可以把不熟的、需要在真实环境中训练出来的系统,真正培养出来)。这是互联网思维在核心技术研究中的应用。为什么现在的实验室,不能提出最好的算法,主要是没有大数据和涟漪效应。在移动互联网下,因为软件免费,用户愿意花时间用这些产品,且不会产生抱怨或反抗。当推出一个不好的人工智能算法(包括图像、语音、自然语言理解)时,就像水滴滴在水面,只有一小部分人才会用到。一旦使用,数据会送到云计算服务器,云计算服务器可以立即学习更新。当水波扩大到更广泛的人群时,系统的性能已经提高。水波的振幅就是系统的误差。当水波扩散,振幅越来越低。当水波纹扩散到第 1000 万人时,10000001 个人是第一次使用这一系统,他会觉得系统很好。利用涟漪效应,可以把不熟的、需要在真实环境中训练出来的系统,真正培养出来。在实验室中,可以做人工智能的算法。


由此可见,高超的技术对于一个完善的用户产品来说必不可少,但技术高超并不意味着产品体验一定好,还需要经过不断的涟漪效应持续迭代达到好用。

循序渐进和里程碑式突破

回首语音翻译技术从研究到应用的过程,从最初实验室中的设想到走进寻常百姓家,这门技术的发展实际上历经了几个重要的里程碑式突破,才达到如今的效果。


王士进认为,从语音识别上来说,从上世纪 80 年代的 GMM-HMM 框架,到 10 年前的 DNN-HMM 框架,再到这两年的 Encoder-Decoder 框架,语音识别效果实现了阶跃式的提升,使得语音翻译具备了很好的前提条件;而从机器翻译上来说,从最初的规则翻译,到后来开始产业化的统计机器翻译,再到现在的神经机器翻译,特别是神经机器翻译技术,给机器翻译带来了巨大的提升,使得在日常口语、新闻等场景下,机器翻译已经达到了实用的门槛。

难点和突破口

然而,语音翻译和机器翻译的发展并非一帆风顺,即使是现在,这一领域仍然面临着很多待啃的“硬骨头”。


首先是识别错误带来的级联影响,包括方言、口语化等会影响识别的输出展示和翻译的输入;其次是同声传译中的实时性问题,如何能平衡翻译效果和翻译实时性是目前的一大难题。


知道问题在哪是第一步,第二步就是如何克服这些问题。这需要从这个链条上寻找相对薄弱的突破口。


对此,王士进认为,做好语音识别是前提,包括方言识别、对口音的容错、对口语化识别结果的后处理规整等。其次是渐进式解码技术,解决翻译实时性的问题。

案例研究:讯飞最新翻译引擎 TNMT 分析

一个好的语音翻译产品离不开一个好的翻译引擎。现在,我们以科大讯飞最新一代语音翻译引擎 TNMT 为例,来了解语音翻译背后的技术。


据王士进介绍,TNMT 采用最强大的语音识别技术和神经机器翻译技术,主要有语音识别-> 语音后处理-> 机器翻译-> 语音合成级联方式组成,目前使用业内主流的识别与翻译级联方式完成最终的能力输出。


更重要的是,讯飞基于目前的语音翻译产品形成了产品优化到技术更新的迭代闭环,有了可以依托的数据涟漪效应平台,能够使得效果不断迭代优化,也是讯飞语音翻译效果能够不断优化的重要保障。


上述因素加上讯飞积累的大规模训练数据,讯飞在口语旅游等场景达到较好的水平,为出国旅游辅助交流提供了便利。

未来趋势

王士进认为,语音翻译技术未来的发展趋势,一方面是在复杂环境下的语音识别,语音翻译如果想进一步扩大应用场景,这点首先要解决好;另外,如何解决低资源语音翻译技术难题也是一个重点,很多语种有很大的价值和前景,但是目前的资源是比较少的;最后,是端到端的语音翻译技术,实现直接从原始语音到目标译文的翻译,相信这将会是未来语音翻译的发展方向。端到端语音翻译技术路线,是通过构造一个完整的神经网络模型,联合优化语音识别、识别后处理和机器翻译,建立源语言语音信号到目标语言文字的映射关系,进而实现从原始语音到目标译文的翻译。这提供了一种解决语音翻译的新思路,而且从目前看是初步可行的。一旦技术研究成功,理论上可以让语音翻译更准更快,未来也将为翻译机器性能的提升带来极大促进。

采访嘉宾

王士进,科大讯飞北京研究院院长、AI 研究院副院长。2003 年毕业于中国科学技术大学,获电子科学与技术工学学士学位,2008 年获得中科院自动化所模式识别与智能系统博士学位。研究兴趣包括语音信号处理、自然语言处理、智慧教育等人工智能技术,在 ICASSP、Interspeech、ACL、COLING、NAACL、Computer Speech and Language 等期刊会议发表数十篇论文,目前还担任中国人工智能产业发展联盟专家委员会委员、技术与产业工作组副组长。


另外,王士进博士将在 QCon 全球软件开发大会(广州站)分享题为「语音翻译技术进展及应用」的演讲,对 NLP 和语音技术感兴趣的同学可以重点关注下。

活动推荐

QCon 广州站日程上线,部分精彩内容提前剧透:


  • 语音翻译技术进展及应用

  • 从 Darknet 到 Tensorfow: 图像识别一站式平台的工程实践

  • 计算机视觉赋能无界零售(Empowering Retailing Experiences with Computer Vision)


更多人工智能、架构设计等相关实践领域尽在QCon广州2019,另外大会特设 NLP 相关的深度培训课程,感兴趣的同学抓紧时间向 Boss 申请报名,有任何问题请联系小助手鱼丸,电话:13269078023 (微信同)。扫描下方二维码,提前 get 干货信息!



2019-05-10 08:006411
用户头像

发布了 42 篇内容, 共 14.4 次阅读, 收获喜欢 53 次。

关注

评论

发布
暂无评论
发现更多内容

QOE 驱动下的分布式实时网络构建:Agora SD-RTN 的演进

声网

Java 人工智能 分布式 网络

2021年阿里Java面试题及答案,多图详解CLH锁的原理与实现

Java 面试 后端

2021年春招Java面试题,大厂Java核心面试题出炉

Java 面试 后端

Centos7 部署 Zabbix 5.4 高可用集群

Se7en

2021我的Java路要怎么走,Java应用性能优化

Java 面试 后端

2021年是意义非凡的一年,2021阿里+头条+腾讯等大厂Java笔试题分享

Java 面试 后端

2021年最新腾讯Java面经,Java面试高级题目

Java 面试 后端

2021年阿里Java高级面试题分享,【MySQL

Java 面试 后端

阿里大佬竟然真的把Java基础核心知识整理成了PDF版

Java 程序员 架构 面试 计算机

解析实现区块链互操作性的方法及现有开发项目

CECBC

2021年抓住金三银四涨薪好时机,腾讯Java社招面试流程

Java 面试 后端

2021我是如何拿到小米、京东、字节的offer,持久化数据安全RDB、AOF

Java 面试 后端

2021最新京东商城亿级并发架构设计!推荐每一位Java开发者学习

Java 编程 架构 后端 计算机

2021年最新Java大厂面试笔试题分享,Java入门教程免费视频

Java 面试 后端

2021年腾讯Java高级面试题及答案,百度笔试题百度校招面试经验

Java 面试 后端

2021年这些高频面试知识点最后再发一次,面试官突击一问

Java 面试 后端

GraphQL 快速入门「3」GraphQL 架构

码语者

Rest GraphSL

2022高频前端面试题汇总之React篇

buchila11

React

Flink 实时 metrics

GrowingIO技术专栏

大数据 flink Grafana 流式计算框架

百度联手清华大学出版社 打造国内首套产教融合人工智能系列教材

百度大脑

人工智能

2021年最新Java面试点梳理,阿里P7大牛整理

Java 面试 后端

docker 命令备忘(qbit)

qbit

Docker 容器 存储

区块链技术的核心、发展与未来

CECBC

如何看待游戏世界的未来:解析去中心化区块链游戏的优缺点

CECBC

网络安全必学知识点之XSS漏洞

网络安全学海

黑客 网络安全 信息安全 WEB安全 漏洞挖掘

“工业互联 在云之洲”丨“5G+AR”远程协助作业解决方案 赋能装备更智能

云计算,

2021年网易Java岗面试必问,Java开发面试准备

Java 面试 后端

说下你可能没用过的EventBus

艾小仙

2021年阿里Java面试题及答案,Java高级进阶学习资料

Java 面试 后端

40万奖池 + 顶级云服务资源,云计算大赛系列公开课正式开播

亚马逊云科技 (Amazon Web Services)

人工智能 云计算 创新大赛

2021年最新Java面试经历,别再说自己不会了

Java 面试 后端

做好语音翻译无捷径:语音识别是前提,实时翻译亟待攻破_AI&大模型_陈利鑫_InfoQ精选文章