PCon全球产品创新大会9折购票中,立减¥480!查看上线日程 了解详情
写点什么

百度发布 PLATO-XL,全球首个百亿参数中英文对话预训练生成模型

2021 年 9 月 24 日

百度发布PLATO-XL,全球首个百亿参数中英文对话预训练生成模型

和 AI 进行无障碍的对话,是什么样的体验?你或许能够在这篇文章里找到答案!百度全新发布 PLATO-XL,参数达到了 110 亿,超过之前最大的对话模型 Blender,是当前最大规模的中英文对话生成模型,并再次刷新了开放域对话效果。


近日,百度发布新一代对话模型 PLATO-XL,这也是全球首个百亿参数中英文对话预训练模型,再次刷新开放域对话效果,打开了对话模型的想象空间。


尽管大规模参数模型在自然语言处理领域如雨后春笋出现,并且在多个自然语言理解和生成任务上取得了很多成果,但多轮开放域对话的主动性和常识性问题一直无法很好解决。百度 NLP 于 2019 年 10 月预发布了通用领域的对话生成预训练模型 PLATO,在 ACL 2020 正式展示。2020 年升级为超大规模模型 PLATO-2,参数规模扩大到 16 亿,涵盖中英文版本,可就开放域话题深度畅聊。如今,百度 全新发布 PLATO-XL,参数规模首次突破百亿达到 110 亿,是当前最大规模的中英文对话生成模型。


论文名称 :

PLATO-XL: Exploring the Large-scale Pre-training of Dialogue Generation


论文地址: 

https://arxiv.org/abs/2109.09519

PLATO-XL:全球首个百亿参数对话预训练生成模型 


让机器进行像人一样有逻辑、有知识、有情感的对话,一直是人机智能交互的重要技术挑战;另一方面,开放域对话能力是实现机器人情感陪伴、智能陪护、智能助理的核心,被寄予了很高的期望。


预训练技术大幅提升了模型对大规模无标注数据的学习能力,如何更高效、充分的利用大规模数据提升开放域对话能力,成为主流的研究方向。


从谷歌 Meena、Facebook Blender 到百度 PLATO,开放域对话效果不断提升。在全球对话技术顶级比赛 DSTC-9 上,百度 PLATO-2 创造了一个基础模型取得 5 项不同对话任务第一的历史性成绩。


如今,百度发布 PLATO-XL,参数达到了 110 亿,超过之前最大的对话模型 Blender(最高 94 亿参数),是当前最大规模的中英文对话生成模型,并再次刷新了开放域对话效果。


百度 PLATO 一直有其独特的从数据到模型结构到训练方式上的创新。PLATO-1, PLATO-2 不仅刷新了开放域对话效果,也具有非常好的参数性价比,即在同等参数规模下效果超越其他模型。PLATO-XL 在参数规模达到新高的同时,其对话效果也不出意外地再次达到新高。下面,我们将展开介绍 PLATO-XL 模型的核心技术特点。


PLATO-XL 模型:更高参数性价比,大幅提升训练效果 


PLATO-XL 网络架构上承袭了 PLATO unified transformer 结构,可同时进行对话理解和回复生成的联合建模,参数性价比很高。通过灵活的注意力机制,模型对上文进行了双向编码,充分利用和理解上文信息;对回复进行了单向解码,适应回复生成的 auto-regressive 特性。此外,unified transformer 结构在对话上训练效率很高,这是由于对话样本长短不一,训练过程中 padding 补齐会带来大量的无效计算,unified transformer 可以对输入样本进行有效的排序,大幅提升训练效率。



为了进一步改善对话模型有时候自相矛盾的问题,PLATO-XL 引入了多角色感知的输入表示,以提升多轮对话上的一致性。对话模型所用的预训练语料大多是社交媒体对话,通常有多个用户参与,表述和交流一些观点和内容。在训练时,模型较难区分对话上文中不同角度的观点和信息,容易产生一些自相矛盾的回复。针对社交媒体对话多方参与的特点,PLATO-XL 进行了多角色感知的预训练,对多轮对话中的各个角色进行清晰区分,辅助模型生成更加连贯、一致的回复。


PLATO-XL 包括中英文 2 个对话模型,预训练语料规模达到千亿级 token,模型规模高达 110 亿参数。PLATO-XL 也是完全基于百度自主研发的飞桨深度学习平台,利用了飞桨 FleetX 库的并行能力,使用了包括 recompute、sharded data parallelism 等策略,基于高性能 GPU 集群进行了训练。


 PLATO-XL 效果:多种类型、多种任务,对话效果评估


为了全面评估模型能力,PLATO-XL 与当前开源的中英文对话模型进行了对比,评估中采用了两个模型针对开放域进行相互对话(self-chat)的形式,然后再通过人工来评估效果。PLATO-XL 与 FacebookBlender、微软 DialoGPT、清华 EVA 模型相比,取得了更优异的效果,也进一步超越了之前 PLATO-2 取得的最好成绩。此外,PLATO-XL 也显著超越了目前主流的商用聊天机器人。



除了开放域闲聊对话,模型也可以很好的支持知识型对话和任务型对话,在多种对话任务上效果全面领先。


PLATO 系列涵盖了不同规模的对话模型,参数规模从 9300 万到 110 亿。下图可以看出,模型规模扩大对于效果提升也有显著作用,呈现较稳定的正相关关系。


PLATO-XL 不管是在英文,还是中文上的多轮对话,模型都可以与用户进行有逻辑、有内容且有趣的深入聊天。


百度 PLATO-XL 模型英文对话效果


百度 PLATO-XL 模型中文对话效果

结语 

让机器用自然语言与人自由地交流,是人工智能的终极目标之一。百度 PLATO-XL 的发布,是开放域对话在大模型上的一次深入探索。相信在不久的将来,更加强大的对话预训练模型将会陆续发布。未来,对话模型可以更加拟人、更有知识。


百度开放接口服务供大家体验最新中文 PLATO 百亿模型的效果,对智能对话感兴趣的小伙伴一定不能错过。


百度大脑 UNIT:

https://ai.baidu.com/unit/home

英文体验方式:

https://nlp.baidu.com/special/plato/englishDemo

中文体验方式:

关注“百度 PLATO”微信公众号,进行深度畅聊

2021 年 9 月 24 日 11:141523

评论

发布
暂无评论
发现更多内容

XRP瑞波币系统软件开发|XRP瑞波币APP开发

开發I852946OIIO

系统开发

打开数“智”化之门,一字之差带来的思考

京东科技开发者

DevOps IoT 新基建 智能

社区一体化综合平台搭建,智慧平安小区建设解决方案

t13823115967

智慧城市 智慧平安社区平台建设

生产环境全链路压测建设历程 18:某快递 A 股上市公司的生产压测案例之中篇

数列科技杨德华

全链路压测 七日更

Go中的Channel背后的设计哲学

soolaugust

Go Go Concurrency Patterns 七日更 CSP

MySQL字符集修改实战教程

Simon

MySQL 字符集 七日更

揭开阿里巴巴复杂任务资源混合调度技术面纱

阿里巴巴云原生

云计算 阿里云 性能优化 云原生 资源调度

Android uni-app实现音视频通话

anyRTC开发者

uni-app android 音视频 WebRTC 跨平台

传统数仓如何转型大数据

数据社

大数据 数据仓库 七日更

Serverless 是一种思想状态

Serverless Devs

Java Serverless 运维 云原生 后端开发

高性能MySQL

田维常

MySQL

Spring Cloud 2020.0.0正式发布,再见了Netflix

YourBatman

Spring Cloud Spring Boot netflix 2020.0.0

任务发布系统软件开发|任务发布APP开发

开發I852946OIIO

系统开发

如何破解AI数据困境?京东智联云联邦学习平台有良方

京东科技开发者

人工智能 大数据 学习

如何在 20 分钟内给你的 K8s PaaS 上线一个新功能?

阿里巴巴云原生

阿里云 容器 运维 云原生

30G 上亿数据的超大文件,如何快速导入生产环境?

楼下小黑哥

Java MySQL 并发编程 线程池

判空使用isEmpty()方法真的可行吗?

田维常

Java

都 2021 年了,Serverless 能取代微服务吗?

Serverless Devs

Serverless 微服务 运维 云原生 后端开发

从根上理解高性能、高并发:深入计算机底层,理解线程与线程池

程序员小毕

Java cpu 多线程 高并发 线程池

手写线程池,对照学习ThreadPoolExecutor线程池实现原理!

小傅哥

Java 小傅哥 线程池 七日更 ThreadPoolExecutor

灵魂一问:数据库连接池到底该怎么配?

Gopher指北

Go MySQL

如何阅读别人的源码

熊斌

学习 Code Review 源码阅读 七日更

你不好奇 Linux 网络发包过程吗?

小林coding

Linux 操作系统 网络

LeetCode题解:42. 接雨水,暴力法,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

引领云原生发展浪潮 阿里云开启云原生大规模落地元年

阿里巴巴云原生

云计算 阿里巴巴 阿里云 最佳实践 云原生

现代JavaScript:ES6+ 中的 Imports,Exports,Let,Const 和 Promise

Geek_Willie

Java ES6

执法监督信息化建设,公安情报指挥一体化合成作战系统开发

t13823115967

智慧公安

架构师训练营第 1 期 - 第 11 周 - 命题作业

wgl

极客大学架构师训练营

最有技术含量的面试

escray

面试 面经 七日更 十日谈

深度探索Hadoop分布式文件系统(HDFS)数据读取流程

守护石CTO

hadoop hdfs 大数据技术 大数据架构 分布式文件系统

编写令人愉悦的API接口(二)

陈云轩

Java APi设计 接口规范

百度发布PLATO-XL,全球首个百亿参数中英文对话预训练生成模型-InfoQ