【ArchSummit架构师峰会】探讨数据与人工智能相互驱动的关系>>> 了解详情
写点什么

微信推出自研 NLP 大规模语言模型 WeLM:零 / 少样本即可完成多种 NLP 任务,匹敌大其 25 倍的模型

  • 2022-10-13
    北京
  • 本文字数:1978 字

    阅读完需:约 6 分钟

微信推出自研NLP大规模语言模型WeLM:零/少样本即可完成多种NLP任务,匹敌大其25倍的模型

WeLM 能够在零/少样本的情境下完成多种 NLP 任务,现已部署应用于微信视频号


大规模语言模型领域迎来新“选手”。近日,微信 AI 推出自研 NLP 大规模语言模型 WeLM ,该模型是一个尺寸合理的中文模型,能够在零样本以及少样本的情境下完成包多语言任务在内的多种 NLP 任务。


同时,微信 AI 团队也提供了 WeLM 的体验网页和 API 接口。感兴趣的用户可前往https://welm.weixin.qq.com/docs/体验和申请API接口。相关技术论文《WeLM: A Well-Read Pre-trained Language Model for Chinese》也已经发布于论文预印本网站 arXiv。

WeLM 提供交互式网页 PlayGround 和 API 接口


在近几年自然语言处理(NLP)领域的发展浪潮中,OpenAI 开发的自然语言处理模型 GPT-3 无疑风头无两,发布之初便以 1750 亿参数规模的预训练模型所表现出来的零样本与小样本学习能力刷新了人们的认知,也引爆了 AI 大模型研究的热潮。


对业界来说,预训练大模型降低了 AI 应用的门槛,距离“AI 把人类从重复性劳动中解放出来”的目标越来越近,目前,基于 GPT-3,全球开发者已经探索出包括编程、回复邮件、UI 设计、回答数学问题、法律语言转化、总结中心思想、推理、文本处理等广泛应用场景,并且,各国研究者在多语言/多任务等角度的探索也正在呈现出大模型百家争鸣的格局。


在国内以中文为核心的大规模语言模型领域,微信 AI 推出的百亿级别大规模语言模型 WeLM,成为大模型百家争鸣格局中的新选手。


据介绍,WeLM 是一个百亿级别的中文模型,能够在零样本以及少样本的情境下完成包括对话-采访、阅读理解、翻译、改写、续写、多语言阅读理解在内的多种 NLP 任务,并具备记忆能力、自我纠正和检查能力。


并且,WeLM 具有尺寸合理的优势,在 14 项中文 NLP 任务上,WeLM 的整体表现超出了所有同大小的模型,甚至能够匹配比它大 25 倍的模型。


以被普遍认为是更困难的 NLP 任务的文本风格转换(改写)为例,尽管用户给出的 5 个例子和最后需要生成的例子并没有重合的风格转换类型,但 WeLM 拥有出色的举一反三能力,通过学习少量的文本转换例子即可达到对任意类型的文本转换。并且,WeLM 在对话-采访、阅读理解、翻译、续写等多个中文文本生成任务中有着同样优异的表现。



 除了具备强大的中文理解和生成能力,WeLM 还拥有处理跨多语言(中英日)任务的能力。以“微信 AI 推出の WeLM 是一个 language model that いろいろなtaskをperformができる”这句混合中日英三国语言的文本为例,WeLM 的翻译相较 Google 翻译更为精准。



而且,在进一步微调后,WeLM 可以拥有更好的零样本学习能力,可以根据场景拥有更好的表现。目前,WeLM 已经部署应用于微信视频号的部分场景中,未来在进一步优化后还将应用于更多微信应用场景。


为进一步推动 WeLM 成为真正能落地且实用的工具,微信 AI 团队还发布了一个供用户体验的交互式网页 PlayGround,并开放了用于访问 WeLM 的 API 接口。



目前,用户可通过https://welm.weixin.qq.com/docs/体验WeLM的相关能力,并通过调整配置以实现更贴近的文本生成效果。对于想接入 WeLM 的开发者,也可通过https://welm.weixin.qq.com/docs/api/填写问卷后获得WeLM的API Token 并调用相应接口,将 WeLM 部署在自己的应用上。

具有丰富知识储备,在 14 项中文 NLP 任务中表现亮眼

据介绍,在纯 Encoder(Bert)、纯 Decoder(GPT) 以及 Encoder-Decode(T5) 结构等主流 NLP 模型路径的选择上,WeLM 和 GPT3、Google PaLM 一样,选择了自回归模型的路线。同时,考虑到不同的用户对于模型效果和推理延迟会有考量或者取舍(trade-off),微信 AI 的 WeLM 训练了 1.3B、2.7B 以及 10B 三个版本的模型,满足不同用户的调用需求。


同时,在训练数据上,微信 AI 团队希望构建一个足够丰富、足够干净、足够公平的数据集,为此研究团队从 Common Crawl 下载了近两年的中文网页数据,大量的书籍、新闻。为了增强专业能力,微信 AI 团队还在数据集补充了知识密集的论坛数据和一些学术论文,搜集完成后的全量数据 10TB,其中包含了 750G 的英文数据,并保留了部分日韩文。


随后,通过规则过滤和额外训练的二分类 fasttext 模型,以及对测评相关数据的去除,数据集最终处理完的数据量为 262B tokens。为了更好的平衡各个数据源的比重,微信 AI 团队也对数据进行不同比重的采样,最终,整体数据集的 Topic 分布相比 Common Crawl 更加平滑。  



在与业界同级别的 CPM、华为 Pangu 和百度 Ernie3.0 的对比测试中,WeLM 表现出极强的知识储备,在 14 项中文 NLP 任务上,WeLM 的整体表现超出了所有同大小的模型,甚至能够匹配比它大 25 倍的模型。同时,在强大的中文理解和生成能力外,WeLM 还有出色的多语言理解能力,用户的输入可以在中日英上自如切换。



目前,WeLM 的相关技术论文《WeLM: A Well-Read Pre-trained Language Model for Chinese》已经发布于论文预印本网站 arXiv,感兴趣的用户可前往https://arxiv.org/abs/2209.10372查看更多技术细节。


接下来,微信 AI 将针对 WeLM 进行进一步的微调优化,进一步提升其在新任务上的泛化效果。

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2022-10-13 12:186866
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 492.9 次阅读, 收获喜欢 1966 次。

关注

评论 1 条评论

发布
用户头像
404
2022-10-14 15:08 · 北京
回复
没有更多了
发现更多内容

2019年我最喜欢的三款数码产品。

徐说科技

手机 苹果

程序员如何获取一份高薪工作?阿里P8大牛给你一些中肯的建议

Java迁哥

Java 华为 程序员 面试 资料

Java中强、软、弱、虚四种引用详解

奈学教育

Java

分析HiveQL 生成的MapReduce执行程序

任小龙

合约跟单系统开发,数字货币合约跟单软件搭建

13530558032

区块链技术成为金融业务应用热点

CECBC

区块链 人工智能 金融

Docker 网络模式详解及容器间网络通信

哈喽沃德先生

Docker 容器 微服务

花两个半月吃透这份Java手打面经,成功从外包上岸到京东

Java迁哥

Java 学习 腾讯 面试 资料

浅析LR.Net工作流引擎

Learun

.net 敏捷开发 工作流

week12学习总结

burner

基于Prometheus的微服务应用监控

易观大数据

Java中强、软、弱、虚四种引用详解

古月木易

Java

鲲鹏迁移第一批吃螃蟹的人,践行技术国际化

华为云开发者联盟

鲲鹏920 服务器 华为云 ARM芯片 X86

区块链支付系统源码开发,USDT承兑支付平台

13530558032

数字货币钱包系统定制开发,区块链钱包源码

13530558032

week12 homework

burner

区块链交易所开发源码,数字货币交易所app开发

13530558032

隐私计算会成为“金融”向“数科”转型的一剂猛药?

hellompc

高效程序员的45个习惯:敏捷开发修炼之道(7)

石云升

敏捷开发 晨会

为什么阿里巴巴的程序员成长速度这么快,看完他们的内部资料我明白了

Java迁哥

Java 阿里巴巴 程序员 成长 笔记

第 0 期架构师训练营第 8 周作业 1

fujin

第 0 期架构师训练营第 8 周作业2-总结

fujin

架构设计复杂度来源

escray

学习 从零开始学架构 架构师预科班

9块钱,构建个私有网盘,关键不限速

华为云开发者联盟

网站 OBS 在线网盘 华为云 云存储

迭代技术方案设计文档规范

程序员架构进阶

技术方案

突破传统 区块链如何实现病历永存

CECBC

区块链 电子病历 信息共享

35K成功上岸华为商城事业部,只因学透了这几个开源的商城项目

Java迁哥

Java 华为 源码 资料 商城项目

【运维探讨】RPA落地实践,提升IT运维工作效能!

嘉为蓝鲸

RPA 运维自动化 标准化 系统运维 流程

【API进阶之路】破圈,用一个API代替10人内容团队

华为云开发者联盟

内容 编辑 API 华为云 文本摘要

ArCall远比你想象的要强大的多

anyRTC开发者

WebRTC 在线教育 直播 RTC 安卓

LeetCode题解:84. 柱状图中最大的矩形,双循环暴力,JavaScript,详细注释

Lee Chen

大前端 LeetCode

微信推出自研NLP大规模语言模型WeLM:零/少样本即可完成多种NLP任务,匹敌大其25倍的模型_AI&大模型_刘燕_InfoQ精选文章