百度人工智能技术委员会主席何中军：NLP 技术始终走在变革的路上

理解和运用自然语言是人工智能需要解决的核心问题之一。随着深度学习技术的发展， 语义理解、机器翻译等 NLP 任务都取得了长足的进步。百度在 NLP 领域深耕多年，各项技术也在实际业务中广泛落地。在 AICon 大会即将召开之际，InfoQ 有幸采访了百度人工智能技术委员会主席何中军，听他分享百度 NLP 技术实践以及 NLP 技术未来的发展方向。

百度 NLP 技术的落地实践

诞生之日起，百度就将自然语言处理技术广泛应用于其各个业务中，比如百度搜索、query 改写、分词、专名识别等。随着技术的进步，应用场景不断拓展，自然语言处理技术也发挥越来越重要的作用。百度很早就做了比较全面的布局，涵盖语义理解、人机对话、机器翻译、阅读理解、深度问答、语言生成等重要方向。其中，既有核心技术、前瞻研究，也有应用系统。

语义理解

过去两年，预训练技术在 NLP 领域发展迅速，刷新了 NLP 各类任务的最好结果（SOTA）。百度研发团队看到了预训练技术带来的广阔前景，判断出这项技术将会是 NLP 未来发展的重要方向，也会为公司业务线赋能。因此，在语义理解方面，百度 2019 年研发出了基于知识增强的持续学习语义理解框架 ERNIE。

ERINE 项目地址：https://github.com/PaddlePaddle/ERNIE

据何中军介绍，相对于国际上其他的模型，ERNIE 可以持续地学习海量数据中词汇、结构、语义等知识，使得模型效果不断提升，而传统模型主要学习语言的共现，没有对海量数据中的其他丰富知识进行建模。由于对知识的有效利用以及模型的创新，ERNIE 仅用了 1/4 的训练数据和 1/16 的 GPU 资源，在 GLUE 评测中首次突破 90 分，超过了国际上许多其他同类模型。

为了使 ERNIE 在业务中广泛落地，百度又提出 ERNIE 轻量化技术，将其响应时间压缩至千分之一，极大地降低了 ERNIE 性能开销，使得 ERNIE 在工业界得到了大规模应用。当前 ERNIE 在搜索、信息流、小度音箱、智能客服等数十个核心业务上落地，提升了产品智能化水平，帮助人们更加方便、快捷、准确地获取信息。

随着 ERNIE 累计学习知识量的积累，机器资源也面临着巨大挑战。据何中军称，“目前，ERNIE 累计学习知识量已经超过十亿。” 为了解决海量数据对机器资源造成的压力，百度研发团队又基于自研的深度学习平台“飞桨”，研发出了持续学习的预训练算法，使得模型的训练不用每次重启，而是增量的方式进行学习，极大节省了模型训练成本。同时，基于 ERNIE 研发了新一代 NLP 开发平台，帮助开发者迅速将最新技术成果应用于自身业务。

机器翻译

近年来，机器同传结合了语音处理技术和机器翻译技术，无论前瞻研究还是实际系统应用，都取得了较大进展。

去年，百度机器翻译团队创新性地提出了语义单元驱动的机器同传模型，并基于此发布了业内首个语音到语音的同传系统，提供低时延、高质量的同传解决方案。

在谈到百度机器同传在发展过程中遇到的技术难点时，何中军表示：

目前，机器同传面临最大的挑战是如何在翻译质量和时间延迟上取得平衡。与文本翻译不同，同传系统不能等到一个句子说完了再开始翻译，那样就失去了同传的意义。而如果不等待较多的信息，翻译质量就会严重下降。因此，百度从人类同传译员得到启发，提出了基于语义信息单元的同传模型。基本的出发点是将一个有确定意义的片段作为翻译的基本单元，使得模型既能够获得足够的上下文信息，又能保证实时性。此外，百度还结合了语音合成技术，研发了语音到语言的同传系统。如同身边一位虚拟同传译员，带上耳机，就可以听到用自己母语播报出来的演讲内容，获得沉浸式体验。

经过持续技术创新，如今，百度翻译在多语言翻译、同声传译等方向上取得了多项突破，支持全球 200 种语言、近 40000 个方向的互译；通过开放平台，支持了超过 30 万个开发者接入；机器同传成功应用于几十场大型国际会议。

NLP 技术一直在变革

自然语言处理一直是人工智能领域的重要研究方向，由于人类语言的复杂、灵活、多样，使得自然语言处理也充满挑战。近年来，在人工智能迅速发展的大背景下，自然语言处理也取得了长足的进步。

显而易见的是，NLP 领域的研究方法和范式发生了深刻的变革。深度学习与自然语言处理具体任务相结合，进一步挖掘了大数据的潜力，系统性能大幅提升。例如，机器翻译主流技术由原来的统计方法转变为神经网络的方法，翻译质量的提升超过过去十年的总和；预训练技术广泛应用于 NLP 各任务，在国际权威的基准测试集 GLUE 上甚至超过了人类平均水平。预训练（Pre-training）加精细化调整（Fine-tuning）几乎成为 NLP 的标配，使得具体领域的小样本数据不再是一个个的孤岛，而是能站在大数据这个巨人的肩膀上进一步发挥威力。

各领域技术边界日趋模糊，互相取长补短，深度融合。 例如应用于机器翻译的序列到序列建模技术，在语音、图像处理等也都取得了很好的效果，而在图像处理中广泛使用的卷积神经网络也被用来构建机器翻译模型。如果将图像作为输入，文字作为输出，则可以用序列到序列的技术进行图文翻译。语音、语言、视觉等技术深度融合，促进了跨模态的研究和应用。

应用场景大幅拓展、不断深化。自然语言处理技术使得计算机在理解、对话、创作等方面的能力都大大加强，在搜索、金融、教育、客服等场景发挥越来越重要的作用。人们开始习惯于使用更加自然、口语化的表达来与计算机进行交流。 由此产生的多样化、场景化的数据又反哺技术，用于训练模型，提升效果。

开源开放的生态大大降低了 NLP 研发和应用门槛，促进了 NLP 的繁荣发展。比如“飞桨”平台集成了 NLP 丰富的模型，同时还提供免费的算力，使得开发者可以很容易的接入，基于业界领先的技术和平台开发系统，而不必从头做起。再如我们联合计算机学会、中文信息学会举办的“语言与智能”技术竞赛，开放大规模真实场景数据，每年都吸引国内外数千支队伍报名参加，共同推进技术发展与应用。

未来的 NLP 技术何去何从

在谈到 NLP 技术未来的发展方向时，何中军表示：

当前，NLP 研究和应用呈现出百花齐放、百家争鸣的繁荣发展态势，开源开放的生态环境更加促进了技术发展和产业应用。可以说，技术进步与应用场景互相作用，共同发展。技术进步将进一步拓宽应用场景，而丰富的场景应用又驱动技术变革。随着技术的进步，人们将享受到更多便利。

新的学习机制、跨模态通用表示、更好的学习和利用知识等将会是重要的发展方向。人工神经网络带来了学习范式的革新，然而人们至今没有全面清晰地了解人类大脑的工作机理，脑科学、认知科学、人工智能等多学科交叉融合，探索新的学习机制将带来新的技术进步。结合语音、视觉等技术的跨模态通用表示，将进一步增强模型的学习和表达能力，扩展 NLP 的研究和应用范畴。深入结合常识、世界知识、文化背景知识等将使得模型从浅层的符号运算进一步深入认知层面。当然，NLP 面临的挑战远不止以上几点，在发展的道路上也注定不是一帆风顺，需要我们携手并肩，共同努力。