写点什么

多次问鼎 NuerIPS、MRQA 等国际顶级比赛,百度 NLP 技术到底有多强?

2019 年 10 月 08 日

多次问鼎NuerIPS、MRQA等国际顶级比赛,百度NLP技术到底有多强?

人工智能技术的发展尤其是深度学习技术的成功运用,推动自然语言处理(NLP)进入了高速发展阶段。NLP 目前也是应用范围最广的人工智能技术之一,已在智能搜索、智能客服、智能助手、智能推荐等方面得到了大规模应用。


那么,NLP 在 2019 年有哪些最新技术进展和落地应用?未来,NLP 又将怎样发展?这里,我们有幸邀请到了百度 NLP 首席科学家吴华博士,来给大家就 NLP 相关技术点分享宝贵经验,希望可以带给你一些启发和思考。


另外,吴老师还将会在今年 11 月 21 日举行的 AICon全球人工智能与机器学习技术大会(北京站)2019 上担任联席主席深入参与大会,大会还设有“NLP 应用和实践“技术专场为大家带来相关最新技术探索,欢迎关注。


作为 NLP 首席科学家,吴华在百度这些年都做了啥?

吴华,百度技术委员会主席、百度自然语言处理首席科学家。主要研究领域包括自然语言处理、知识图谱等。吴华博士曾担任自然语言处理领域国际会议 ACL 2014 年的程序委员会主席,是中国本土企业首位 ACL 程序委员会主席。曾被评为福布斯“AI 杰出女性”、“杰出工程师”、“十佳中国电子学会优秀科技工作者”,并入选“北京市百千万人才工程”、“青年北京学者”。获国家科技进步奖二等奖 1 项、中国电子学会科学技术奖一等奖 4 项、中国专利银奖 1 项。


吴华在百度的主要工作职责有两个:负责百度语言与知识技术体系的技术规划、技术研发与技术应用,百度的语言与知识技术包括两个部分:自然语言处理与知识图谱。同时,也是百度的技术委员会主席,主要职责是制定工程师技术职称标准与评定,培养工程师的技术能力,引导工程师成长。


百度在 NLP 领域的最新技术发展

作为最早关注并将深度学习应用于自然语言处理(NLP)的科学家之一,吴华表示百度 NLP 的技术进展涉及到语义表示、阅读理解、机器翻译、人机对话、智能写作等多个方面:


(1)语义表示是 NLP 最基础也最重要的任务


近两年,无监督预训练语言模型给基于语义表示的自然语言处理技术带来巨大突破。百度研制的持续学习语义理解框架 ERNIE,一方面引入海量语料和包含词汇、句法、语义等不同层次的多元知识,学习更好的语义表示,一方面通过构建多任务学习的预训练任务,持续提升模型的泛化能力和应用效果。借助百度飞桨深度学习平台多机多卡分布式训练优势,实现工业级规模数据的高效训练,在语言推断、语义相似度、命名实体识别、情感分析、问答匹配、阅读理解等语言理解相关的 16 个任务上全面超越业界最好方法。


(2)阅读理解


阅读理解技术是衡量机器理解人类语言综合水平的重要方式,百度在该方面不断创新,先后提出了基于注意力机制的多文档校验模型 V-NET,文本表示和知识表示的融合模型 KT-NET,以及基于多领域预训练和知识蒸馏的阅读理解模型 D-NET,在 DuReader、MARCO、ReCoRD、MRQA 等多项机器阅读理解评测集和比赛中夺冠。


(3)机器翻译


在 2015 年发布大规模互联网神经网络翻译系统以后,这两年更注重语音到语音的同声传译系统的研发,提出了基于联合向量编码的语音 - 文本联合语义表示方法,全球首个语义驱动的上下文感知机器同传模型,实现了高精准、低延时的工业级机器同声传译系统度同传,同传效果媲美人类翻译。


(4)对话


百度发布了理解与交互技术平台 UNIT(Understanding and Interaction Technology)3.0,提供面向任务对话、基于知识对话、开放式闲聊等技术与服务,创新地提出了基于反馈的对话理解以及基于知识的主动对话技术,并与中文信息学会、计算机学会一起组织了首届基于知识的对话竞赛,吸引了国内外知名高校、企业参加。相关技术通过 UNIT 以技术中台方式在百度搜索、地图、输入法、车联网,以及电信、金融、航司头部客户上广泛应用,周日均请求量达 2.9 亿。


UNIT 在对话理解方面,提出了基于少量样本与规则的 SmartSLU,可基于百级别数据快速形成可用的对话理解模型;此外还结合对话管理技术,提出了反馈式对话理解技术,可在对话过程中通过反馈持续改进理解效果。问答方面,提出了对话式文档问答,可围绕原始业务文档自动生成多轮问答系统。对话管理方面,提出了可编程的对话管理框架 Taskflow,支持基于通用编程语言定义灵活的对话流程。


(5)智能写作


百度智能写作技术非常全面,包括基于句法树生成的结构化数据到文本的生成,基于摘要的文本到文本的聚合生成,先后提出了基于全局语义信息选择网络的摘要抽取模型,和基于句子级结构化控制的摘要生成模型。除传统文本生成技术,还有基于主题规划的诗歌、对联等创意写作,以及基于视频理解的多模生成等。这些自动写作技术已在百度智能写作平台全面对外开放,除自动写作技术,百度智能写作平台还提供了更为实用的辅助写作能力,提供热点发现、热词分析、素材推荐、标题生成、文本纠错等功能,为作者的创作过程提供全流程辅助。


百度的语言与知识技术能力,一方面已全面支持了百度内部产品的进化,融入到百度搜索、信息流推荐、百度地图、智能音箱等几乎所有业务和产品中,为亿万用户提供服务;另一方面,也通过开放赋能,通过全方位、多元化的技术开放模式,逐步加速各行各业与人工智能的融合,推动如农业、制造业、零售、教育、医疗、电力、金融等行业的智能化升级。


2019 年 NLP 值得重点关注的技术

具体到 2019 年,又有哪些技术点值得我们重点关注呢?


(1)这两年 NLP 领域最重大的突破是大规模无监督预训练模型。 从 2018 年的 ELMo、GPT、BERT 到今年 XLNET、ERNIE,前后出现了不下 10 余种不同的模型,使用语料规模越来越大,能力越来越强,大规模无监督预训练模型还会持续突破,大幅提升 NLP 各个任务的性能。ERNIE 的工作表明,在预训练过程中,通过构建各层面的无监督预训练任务,能够不断提升模型效果。未来还可以沿着这个思路构建更多的任务提升模型性能。目前,基于 “预训练 - 微调”模式已成为自然语言处理领域被广泛采用的一种学习范式,但这种模式也还存在很多值得改进的地方,比如,如何解决灾难性遗忘的问题,如何更高效地提升特定任务上的性能等。


(2)多模态融合的语义表示和分析。 深度学习技术将图像、语音、语言等多模态异构信息映射到统一的特征空间中,形成一致的表示形式,使得基于多模态的深度语义理解成为可能,也催生了看图说话、视觉问答等新型多模态研究课题和技术方向。上述“预训练 - 微调”的两阶段范式分别在 CV 和 NLP 领域取得了巨大成功,在多模态信息表征和理解任务上也值得进行进一步探索。另一方面,虽然这种基于深度学习的嵌入表示为多模态信息提供了一种大一统的融合方式,但还是比较粗糙的,也很难表达语言的符号特性和描述逻辑推理过程,需要更基础的理论研究深入探索图像语言信号相互转化的机制,推动深度学习技术与传统符号和逻辑推理技术的融合。


机器翻译的挑战与未来发展

关于机器翻译,吴华老师也谈到了目前遇到的挑战和技术难点,她表示,近年来,基于神经网络的机器翻译发展迅速,翻译质量获得大幅跃升,在很多领域达到可以实用化的水平,广泛地用于外语学习、跨境商务、旅游等领域。


机器翻译主要的难点是资源稀缺的多语言翻译、语篇翻译以及翻译的可解释性等。 在资源稀缺的多语言翻译方面,百度提出的多任务学习的翻译方法、知识蒸馏的方法等都大幅提升了翻译质量。篇章翻译也是机器翻译面临的一大挑战。目前,大部分机器翻译系统都以句子为翻译单位,句子之间不连贯、译文前后不一致。百度提出的多轮解码方法,结合增强式学习,使得模型可以产生流畅、连贯的译文。此外,神经网络模型的另外一个挑战是可解释性,研究人员难以对神经网络内部结构及行为进行合理解释,有些研究人员试图结合人类大脑结构的研究来揭示神经网络内部机理。


近年来,随着人工智能技术的发展,呈现多技术融合的趋势。机器同传是其中非常有代表性的研究方向。机器同传涉及语音识别、机器翻译、语音合成等多个领域的技术,近年来取得较大进步。百度研发的机器同传在很多场合得到应用,包括百度世界大会、百度 AI 开发者大会、AICC 人工智能计算大会等内外部几十场大型会议。然而,机器同传距离真正的开放性实用还有一段距离,在语音容错、翻译质量与时延的平衡、翻译的一致性、评估指标等方面都面临极大的挑战。百度近期的一项实验表明:在可接受度方面,机器同传可以媲美人类同传。机器的优点在于不知疲倦,同时在漏译上少于人类同传,而人类同传可以结合自己的理解进行合理省略,保证重要信息的传递,同时保持较小的时间延迟。


将来,资源稀缺的多语言翻译以及多模翻译是一个比较大的趋势,多模翻译尤其是同传以及 AR 翻译是未来翻译的研究的热点。


学术界 PK 工业界,AI 研究有哪些不同?

谈到学术届和工业界 AI 研究的不同,吴华主要从以下几个方面进行了解答:


(1)目标 / 驱动力不同


学术研究关注技术本身,学术界侧重展望未来进行前瞻性的研究,只要是没有解决的问题,都可以去进行探索和研究;工业界更加关注能满足用户需求的研究。


(2)策略不同


学术研究追求技术的完备性、精益求精,可以花大力气追求 1% 的性能提升;应用落地很多时候要“粗、快、猛”,追求性价比,不一定要技术完备才能应用,能够在一定场景下解决实际问题就可以先用起来。


从 AI 学术研究到工业界落地有哪些难点?

应用的场景和时机的选择:技术成熟度,工业界关注技术的普适性,而研究人员关注技术在单点的突破性,这两者的差距,容易造成对技术成熟度的误判。另外,场景的选择很重要,针对不同的场景和用户,需求可能很不一样,NLP 属于基础技术,一方面要有通用性,一方面要提供定制化能力。


改进的手段:从用户的角度、实际的应用场景出发思考问题,不能闭门造车。 比如同传技术,并不是只追求翻译质量,还需要考虑到时延的影响,做到两方面的平衡。比如语音唤醒除了考虑唤醒的识别率,还要考虑误报、噪声问题,麦克风的数量及布置方式;技术上需要反复迭代,针对应用问题优化,不断打磨细节。


合作的方式:应用落地需要多方合作,PM、RD、运营等等;产品上往往也不是一种技术的应用,而是多种技术的综合应用,一个客服机器人,不仅仅需要语音识别、还需要合成、知识和自然语言理解,需要各个技术团队之间的合作,各种技术如何融合、相互提升,出了问题如何排查和解决。


在长期奋进中保持专注,是 AI 时代人才最宝贵的特质

最后,对于有志于从事 AI 研究和落地工作的广大工程师,吴老师有以下职业发展和成长建议给到大家。


从研究角度看:一方面要紧跟技术进展,另一方面需要提高定义问题的能力,做出引领技术方向的成果。同时心怀探索科技奥秘的好奇心和以科技改变世界的信念,才可能一直保有对 AI 的热情。


从应用角度看:在技术方面,关注最新的技术动态以及实用的工具平台;在落地方面,关注用户的真实需求和应用场景,采用合适的技术方案很重要,切勿好高骛远。


不论从事 AI 研究还是应用落地,都要有“严谨务实、持之以恒”的精神,要磨练好基本功,往往需要长期的积累才会产生突破,比如机器翻译、人机对话等都是螺旋式上升的技术领域。能够在长期奋进中保持专注,才是人工智能时代人才最宝贵的特质。


以上就是 InfoQ 对于吴华老师做的简单采访,还想进一步跟吴老师交流的可以来AICon北京2019大会现场面基。


另外,AICon大会还汇聚了来自百度、阿里、腾讯、亚马逊、Intel、微软、小米、滴滴、蚂蚁金服等国内外 50+ 一线 AI 大牛,从机器学习、搜索推荐、计算机视觉、知识图谱等方向为大家带来满满干货,肯定可以让你收获良多。


目前大会 9 折购票火热进行中,在购票过程中,有任何问题,敬请咨询票务小姐姐 Amy,抢票热线:18514549229(同微信),点击“大会官网”了解更多大会详情。


2019 年 10 月 08 日 17:201390

评论

发布
暂无评论
  • NLP 迎来了黄金时代

    这个时代不仅仅有搜索、推荐、广告、信息流、社交网络等“老树开新花”的领域,也包括人机对话、机器阅读、自动写作等充满生命力的新兴领域。NLP在内容相关的各种应用中都扮演着极其重要的角色。

  • 百度研究院今日再升级,迎来 9 位世界级科学家

    美国时间 11 月 13 日,百度研究院在美国硅谷召开会议,宣布百度研究院顾问委员会正式成立,并宣布在 2018 年陆续迎来 9 位世界级科学家加盟。

  • 科大讯飞刷新 SQuAD 2.0 问答榜纪录,机器阅读理解全面超越人类

    近日,科大讯飞再次登上 SQuAD 2.0 挑战赛榜首,不过这次顺带刷新了一下纪录:在EM(精准匹配率)和F1(模糊匹配率)两项指标上全面超越人类平均水平,分别达到87.147和89.474。其中EM指标高出人类平均水平0.3个百分点,F1则是略微超过人类平均水平。同时,科大讯飞所提出的单模型效果也是目前榜单中最好的一个。

  • 滴滴翻译技术探索与实践

    本文详细的介绍了滴滴翻译的整体框架、原理以及方法,同时还会简单介绍滴滴NLP在今年参加的机器翻译大赛(WMT2020)的一些技术。

  • 深度学习下的图像视频处理技术

    演讲嘉宾沈小勇,腾讯优图 X-Lab 视觉 AI 负责人,专家研究员,2010 年和 2012 年分别于浙江大学数学系获取本科和硕士学位,2016 年博士毕业于香港中文大学。目前在腾讯优图负责社交图像视频理解,工业 AI,社交娱乐,自动驾驶等计算机视觉技术的研发落地工作。在学术上,五年来,累计发表了 30 篇计算机视觉顶级论文,包括 CVPR,ICCV,ECCV,TPAMI,SIGGRAPH 和 NIPS 等,主要工作包括图像视频处理,语义分割,检测识别等。内容介绍深度学习不光在图像视频识别中取得了成功,在传统的图像视频处理中也取得了巨大进展。本演讲将根据团队超过 10 篇顶级会议研究成果以及在腾讯的落地实践,介绍深度学习如何攻克传统视觉在图像视频处理中的难题。演讲的第一部分将重点介绍图像视频恢复问题,如图像视频的去模糊,超分辨率,补全,上色等。第二部分将介绍图像视频的增强与编辑问题,如如何让千元手机拍出高端手机的夜景效果,如何自动改变人脸属性等。在介绍技术的同时,还将重点讨论图像视频处理AI技术如何服务用户和产业。演讲大纲 理解图像视频处理的难点以及应用; 了解 AI 技术的落地。

    2019 年 6 月 11 日

  • 从百度度秘看对话式 AI 发展:个性化定制和通用技术的增强并不矛盾

    现在对话式人工智能发展的一个趋势是向定制化方向发展,通用技术越来越强,但与此同时人们的需求也越来越个性化,谢剑认为,定制化和通用技术的增强不是矛盾的,反而是通用技术的增强能够促进更好的达到个性化的体验。

  • 比 BERT 小 8 倍、推理快 10 倍,华为自研 TinyBERT 背后的模型压缩技术实践

    深度学习模型能够被压缩,本质上是因为参数的冗余,因此可以采用参数更少、结构更稀疏或者更低精度的运算来代替。

  • 百度人工智能技术委员会主席何中军:NLP 技术始终走在变革的路上

    百度在NLP领域深耕多年,各项技术在实际业务中广泛落地。

  • SIGIR 2018 论文精读:如何利用对抗学习来增强排序模型的普适性?

    今天,我们一起来精读SIGIR 2018的最佳短论文,聊一聊如何利用对抗学习来增强排序模型的普适性。

    2018 年 7 月 23 日

  • 深度树匹配——下一代推荐技术的探索和实践

    演讲嘉宾李晗,阿里妈妈精准定向技术部 高级技术专家内容介绍推荐业务是互联网内容提供商进行流量分配的核心业务,也是大数据和机器学习技术的典型应用场景。以电商环境为例,推荐技术的核心任务是要完成从全部海量商品库高效检索TopK相关商品给用户。为实现这一目标,推荐技术经历了以Item-CF为代表的基于统计启发式规则,到以内积模型为代表的向量检索技术的演进和发展。但当前基于内积检索的推荐技术虽然突破了全量候选集召回的天花板,一定程度引入深度模型优化推荐效率,但内积结构模型表达能力存在局限,无法利用更先进模型进一步提升推荐效果。如何在全库检索的基础上突破模型能力天花板,是下一代工业级推荐技术的可行性发展方向。本次分享将会介绍阿里妈妈精准算法团队围绕全库检索+先进模型这一目标,自主提出的深度树匹配技术Tree-based Deep Match(TDM)这一全新的推荐算法框架。我们将会详细讲述,在具体实现层面如何根据树结构提出兴趣概率最大堆模型,并由此推演出一整套采样、检索、建模的方法。此外我们会详细介绍深度树匹配技术一方面在广告业务上的应用成果和学术创新性探索,该工作也被收录到KDD2018。与此同时,我们还将从下一代工业级推荐技术持续发展的视角,讲述围绕深度树匹配技术进一步发展的探索和思考。内容大纲 什么是推荐问题和推荐技术 深度树匹配——下一代推荐技术的探索 成为下一代推荐技术的核心挑战 深度树匹配——下一代推荐技术探索的再思考

    2019 年 1 月 7 日

  • 行业视角:产品经理眼中的人工智能

    你理解人工智能,知道人工智能的产业发展现状如何吗?人工智能产品经理的人才结构又是怎样的呢?

    2020 年 12 月 14 日

  • 2018 年,NLP 研究与应用进展到什么水平了?

    本文是AI前线年终盘点自然语言处理专题系列文章之技术与应用篇,我们将逐一盘点和总结这些想法和应用。

  • NLP 在小米的探索与实践

    在 AICon 北京 2019 大会上,王斌讲师做了《NLP在小米的探索与实践》主题演讲。

  • 王海峰详解百度 NLP 十年技术完整布局

    语言与知识布局要始终把握技术及产业两大趋势。

  • 如何将“深度强化学习”应用到视觉问答系统?

    如何利用深度强化学习来搭建一个模型,去理解两个机器人的对话并能够理解图像信息?

    2018 年 1 月 26 日

  • 小米 NLP 首席科学家王斌:NLP 在落地、商业化方面进展慢是假象

    NLP技术今天已经似乎真正触摸到“语义”的门槛。

  • 神经网络机器翻译技术与应用

    演讲嘉宾何中军,百度 NLP-主任研发架构师内容介绍全球化时代,跨语言交流面临语言鸿沟的巨大挑战。机器翻译是打破语言鸿沟的有效技术,是人工智能的终极目标之一。近年来,随着神经网络翻译技术的兴起,机器翻译质量大幅跃升,涌现出越来越多的创新产品,应用场景不断深化扩展。百度是最早研发神经网络翻译技术的单位之一,在翻译模型、算法、多语言翻译等方面提出一系列创新方法,大幅提高了翻译质量,促进了神经网络机器翻译的大规模产业化应用。本演讲结合百度机器翻译实践,介绍机器翻译技术发展现状、创新产品以及典型应用场景。内容大纲 神经网络机器翻译基本原理及主要挑战; 百度的技术解决方案; 主要产品形式及应用; 技术发展趋势。

    2019 年 1 月 2 日

  • 百度语义计算技术及其应用

    本文介绍百度在语义表示方向的技术发展和最新的研究成果艾尼(ERNIE)等。

  • 从算法到应用:滴滴端到端语音 AI 技术实践

    本文介绍滴滴端到端语音AI技术实践经验。

  • 微软人工智能又一里程碑:微软中 - 英机器翻译水平可“与人类媲美”

    继在语音识别和机器阅读领域取得的“过人”成绩,由微软亚洲研究院与雷德蒙研究院的研究人员组成的团队今天宣布,其研发的机器翻译系统在通用新闻报道测试集newstest2017的中-英测试集上,达到了可与人工翻译媲美的水平。这是首个在新闻报道的翻译质量和准确率上可以比肩人工翻译的翻译系统。

发现更多内容

Java 线程的生老病死

武培轩

Java 线程 多线程 并发 线程状态

计算机的时钟(一):NTP协议

ElvinYang

玩转Redis高可用 - 哨兵(Sentinel)模式

Man

高可用 redis高可用 中间件

如何搭建一个HBase集群

Rayjun

HBase

RESTful 架构及实践

pingan8787

Java 前端 RESTf

DOM 树的构建

法正

html DOM 前端进阶训练营

图说前端-ArrayBuffers 和 SharedArrayBuffers(2/3)

梦见君笑

前端 内存管理 前端进阶训练营

那些让程序员目瞪口呆的Bug

Java小咖秀

程序员 程序员人生 bug

基于Kubernetes实现的大数据采集与存储实践总结

岿然独存5

Docker Kubernetes S3 EFK Fluentd

redis里的数据结构

流沙

redis

不会有人还不知道全文检索工具Lucene怎么用吧?文字长文教程

给你买橘子

Java 搜索引擎 lucene 程序员 开发工具

【计算机网络】网络层——路由器与路由选择协议

烫烫烫个喵啊

计算机网络 网络层

DolphinScheduler-1.3.0-dev功能体验

Eights

hadoop 大数据任务调度

《精益思想》读后感分享

zhongzhq

高效工作 精益 精益思想 精益生产方式

架构师必须知道的架构知识

Chank

架构 架构师 Architecture Architect

如何基于 BitMap 进行海量数据分析

GrowingIO技术专栏

互联网 数据分析 科技互联网 数据化

基础篇:Object对象

csc

Java Java 25 周年

无价值人生记录.0:浪费1000%时间去做一个用来节省1%时间的“轮子玩具”(上:因缘)

八苦-瞿昙

C# 程序员人生 随笔 随笔杂谈 aop

图说前端-使用Atomics避免SharedArrayBuffers中的race conditions(3/3)

梦见君笑

前端 内存管理 前端进阶训练营

ARTS 打卡 第2周

Scotty

给 Spring Boot 项目减减肥!18.18M 到 0.18M 是如何做到的?

给你买橘子

Java 程序员 Spring Cloud 编码 SpringBoot 2

redis系列之——Redis为什么这么快?

诸葛小猿

Java redis 程序员

游戏夜读 | 如何分析游戏体验?

game1night

啃碎并发(九):内存模型之基础概述

猿灯塔

Java 猿灯塔

云原生实践系列:概述

孤岛旭日

Serverless 微服务 Service Mesh 服务架构

架构师训练营第六周作业

张明森

基础篇:JAVA基本类型

csc

Java Java 25 周年

架构师训练营第六周总结

陈靓-哲露

图说前端-内存管理(1/3)

梦见君笑

前端 内存 前端进阶训练营

分布式系统的一些基础理论

俊俊哥

分布式事务 CAP Base

java 后端博客系统文章系统——No3

猿灯塔

打造 VUCA 时代的 10 倍速 IT 团队

打造 VUCA 时代的 10 倍速 IT 团队

多次问鼎NuerIPS、MRQA等国际顶级比赛,百度NLP技术到底有多强?-InfoQ