写点什么

百度人工智能技术委员会主席何中军:NLP 技术始终走在变革的路上

2020 年 4 月 30 日

百度人工智能技术委员会主席何中军:NLP技术始终走在变革的路上

理解和运用自然语言是人工智能需要解决的核心问题之一。随着深度学习技术的发展, 语义理解、机器翻译等 NLP 任务都取得了长足的进步。百度在 NLP 领域深耕多年,各项技术也在实际业务中广泛落地。在 AICon 大会即将召开之际,InfoQ 有幸采访了百度人工智能技术委员会主席何中军,听他分享百度 NLP 技术实践以及 NLP 技术未来的发展方向。


百度 NLP 技术的落地实践

诞生之日起,百度就将自然语言处理技术广泛应用于其各个业务中,比如百度搜索、query 改写、分词、专名识别等。随着技术的进步,应用场景不断拓展,自然语言处理技术也发挥越来越重要的作用。百度很早就做了比较全面的布局,涵盖语义理解、人机对话、机器翻译、阅读理解、深度问答、语言生成等重要方向。其中,既有核心技术、前瞻研究,也有应用系统。


语义理解

过去两年,预训练技术在 NLP 领域发展迅速,刷新了 NLP 各类任务的最好结果(SOTA)。百度研发团队看到了预训练技术带来的广阔前景,判断出这项技术将会是 NLP 未来发展的重要方向,也会为公司业务线赋能。因此,在语义理解方面,百度 2019 年研发出了基于知识增强的持续学习语义理解框架 ERNIE。


ERINE 项目地址:https://github.com/PaddlePaddle/ERNIE


据何中军介绍,相对于国际上其他的模型,ERNIE 可以持续地学习海量数据中词汇、结构、语义等知识,使得模型效果不断提升,而传统模型主要学习语言的共现,没有对海量数据中的其他丰富知识进行建模。由于对知识的有效利用以及模型的创新,ERNIE 仅用了 1/4 的训练数据和 1/16 的 GPU 资源,在 GLUE 评测中首次突破 90 分,超过了国际上许多其他同类模型。


为了使 ERNIE 在业务中广泛落地,百度又提出 ERNIE 轻量化技术,将其响应时间压缩至千分之一,极大地降低了 ERNIE 性能开销,使得 ERNIE 在工业界得到了大规模应用。当前 ERNIE 在搜索、信息流、小度音箱、智能客服等数十个核心业务上落地,提升了产品智能化水平,帮助人们更加方便、快捷、准确地获取信息。


随着 ERNIE 累计学习知识量的积累,机器资源也面临着巨大挑战。据何中军称,“目前,ERNIE 累计学习知识量已经超过十亿。” 为了解决海量数据对机器资源造成的压力,百度研发团队又基于自研的深度学习平台“飞桨”,研发出了持续学习的预训练算法,使得模型的训练不用每次重启,而是增量的方式进行学习,极大节省了模型训练成本。同时,基于 ERNIE 研发了新一代 NLP 开发平台,帮助开发者迅速将最新技术成果应用于自身业务。


机器翻译

近年来,机器同传结合了语音处理技术和机器翻译技术,无论前瞻研究还是实际系统应用,都取得了较大进展。


去年,百度机器翻译团队创新性地提出了语义单元驱动的机器同传模型,并基于此发布了业内首个语音到语音的同传系统,提供低时延、高质量的同传解决方案。


在谈到百度机器同传在发展过程中遇到的技术难点时,何中军表示:


目前,机器同传面临最大的挑战是如何在翻译质量和时间延迟上取得平衡。与文本翻译不同,同传系统不能等到一个句子说完了再开始翻译,那样就失去了同传的意义。而如果不等待较多的信息,翻译质量就会严重下降。因此,百度从人类同传译员得到启发,提出了基于语义信息单元的同传模型。基本的出发点是将一个有确定意义的片段作为翻译的基本单元,使得模型既能够获得足够的上下文信息,又能保证实时性。此外,百度还结合了语音合成技术,研发了语音到语言的同传系统。如同身边一位虚拟同传译员,带上耳机,就可以听到用自己母语播报出来的演讲内容,获得沉浸式体验。


经过持续技术创新,如今,百度翻译在多语言翻译、同声传译等方向上取得了多项突破,支持全球 200 种语言、近 40000 个方向的互译;通过开放平台,支持了超过 30 万个开发者接入;机器同传成功应用于几十场大型国际会议。


NLP 技术一直在变革

自然语言处理一直是人工智能领域的重要研究方向,由于人类语言的复杂、灵活、多样,使得自然语言处理也充满挑战。近年来,在人工智能迅速发展的大背景下,自然语言处理也取得了长足的进步。


显而易见的是,NLP 领域的研究方法和范式发生了深刻的变革。深度学习与自然语言处理具体任务相结合,进一步挖掘了大数据的潜力,系统性能大幅提升。例如,机器翻译主流技术由原来的统计方法转变为神经网络的方法,翻译质量的提升超过过去十年的总和;预训练技术广泛应用于 NLP 各任务,在国际权威的基准测试集 GLUE 上甚至超过了人类平均水平。预训练(Pre-training)加精细化调整(Fine-tuning)几乎成为 NLP 的标配,使得具体领域的小样本数据不再是一个个的孤岛,而是能站在大数据这个巨人的肩膀上进一步发挥威力。


各领域技术边界日趋模糊,互相取长补短,深度融合。 例如应用于机器翻译的序列到序列建模技术,在语音、图像处理等也都取得了很好的效果,而在图像处理中广泛使用的卷积神经网络也被用来构建机器翻译模型。如果将图像作为输入,文字作为输出,则可以用序列到序列的技术进行图文翻译。语音、语言、视觉等技术深度融合,促进了跨模态的研究和应用。


应用场景大幅拓展、不断深化。自然语言处理技术使得计算机在理解、对话、创作等方面的能力都大大加强,在搜索、金融、教育、客服等场景发挥越来越重要的作用。人们开始习惯于使用更加自然、口语化的表达来与计算机进行交流。 由此产生的多样化、场景化的数据又反哺技术,用于训练模型,提升效果。


开源开放的生态大大降低了 NLP 研发和应用门槛,促进了 NLP 的繁荣发展。比如“飞桨”平台集成了 NLP 丰富的模型,同时还提供免费的算力,使得开发者可以很容易的接入,基于业界领先的技术和平台开发系统,而不必从头做起。再如我们联合计算机学会、中文信息学会举办的“语言与智能”技术竞赛,开放大规模真实场景数据,每年都吸引国内外数千支队伍报名参加,共同推进技术发展与应用。


未来的 NLP 技术何去何从

在谈到 NLP 技术未来的发展方向时,何中军表示:


当前,NLP 研究和应用呈现出百花齐放、百家争鸣的繁荣发展态势,开源开放的生态环境更加促进了技术发展和产业应用。可以说,技术进步与应用场景互相作用,共同发展。技术进步将进一步拓宽应用场景,而丰富的场景应用又驱动技术变革。随着技术的进步,人们将享受到更多便利。


新的学习机制、跨模态通用表示、更好的学习和利用知识等将会是重要的发展方向。人工神经网络带来了学习范式的革新,然而人们至今没有全面清晰地了解人类大脑的工作机理,脑科学、认知科学、人工智能等多学科交叉融合,探索新的学习机制将带来新的技术进步。结合语音、视觉等技术的跨模态通用表示,将进一步增强模型的学习和表达能力,扩展 NLP 的研究和应用范畴。深入结合常识、世界知识、文化背景知识等将使得模型从浅层的符号运算进一步深入认知层面。当然,NLP 面临的挑战远不止以上几点,在发展的道路上也注定不是一帆风顺,需要我们携手并肩,共同努力。


2020 年 4 月 30 日 16:488884
用户头像

发布了 277 篇内容, 共 77.1 次阅读, 收获喜欢 371 次。

关注

评论

发布
暂无评论
发现更多内容

SignalR Core之Hubs基本概念

猫定谔的靴

.net core SignalR realtime Hubs

Assignment 01

高冰洁

iPad配置OpenVPN客户端

wong

ipad OpenVPN

重学 Java 设计模式:实战外观模式「基于SpringBoot开发门面模式中间件,统一控制接口白名单场景」

小傅哥

设计模式 小傅哥 重构 代码质量 代码坏味道

五分钟学会Elasticsearch查询代理设计

古月木易

终于有一个 Java 可以用的微信机器人了

犀利豆

Java

架构师训练营第一次课程感想小记1

tuuezzy

软件工程 求职 架构师 UML

读懂才会用:Redis ZSet 的几种使用场景

小眼睛聊技术

Java redis 学习 架构 后端

Java15都快出来了,你还不会Java8中的Lambda?

Java全栈封神

Java Lambda java8

Apache Spark有哪些局限性

奈学教育

Apache Spark

Solidity的Bytecode和Opcode简介

程序那些事

区块链 智能合约 以太坊 Ethereum eth

食堂就餐卡系统设计

huangyb

大家都知道递归,尾递归呢?什么又是尾递归优化?

石头

第一周作业一:食堂就餐卡系统设计

DZ

徒手撸框架--实现Aop

犀利豆

Java spring

「编程模型」C++封装资源

顿晓

c++ 封装 资源封装 自动化管理 简化代码

【JS】给console来的样式

学习委员

Java html5 前端 Web console

下周要开始“卖桃者说”代班计划了

霍太稳@极客邦科技

日常

ERC20 Short Address Attack

程序那些事

区块链 以太坊 Token ERC20 代币

ARTS打卡第二周6.1-6.7

我笔盒呢

架构师训练营第一周学习总结

全力以赴@

回忆杀:我的编程能力是如何突飞猛进起来的

程序员小跃

Java android 编程 面向对象思想

架构师训练营第二周

Melo

编程的未来 Java, C, Go, Swift, Dart? Uncle Bob Martin - The Future of Programming

John(易筋)

Java 敏捷开发 编程的未来 编程简史 Bob大叔

【总结】优秀架构师的职责及综合能力

huangyb

小师妹学JavaIO之:MappedByteBuffer多大的文件我都装得下

程序那些事

Java io nio 小师妹 buffer

Apache Spark有哪些局限性

古月木易

spark

徒手撸框架--实现IoC

犀利豆

Java spring

IP 基础知识全家桶,45 张图一套带走

小林coding

计算机网络 计算机基础 IP

浅谈互联网思维和区块链思维

CECBC区块链专委会

区块链思维

平常心平常心

zhoo299

随笔杂谈

百度人工智能技术委员会主席何中军:NLP技术始终走在变革的路上-InfoQ