【ArchSummit架构师峰会】探讨数据与人工智能相互驱动的关系>>> 了解详情
写点什么

第一个中国版 ChatGPT 来了!复旦团队出品,名字源自《流浪地球》,内测首日网站被挤崩

  • 2023-02-21
    北京
  • 本文字数:2423 字

    阅读完需:约 8 分钟

第一个中国版ChatGPT来了!复旦团队出品,名字源自《流浪地球》,内测首日网站被挤崩

“MOSS 还是一个非常不成熟的模型,距离 ChatGPT 还有很长的路需要走。”


自去年 11 月底正式发布以来,OpenAI 最新的 AI 聊天机器人 ChatGPT 迅速成为现象级应用。瑞银发布的研究报告显示,ChatGPT 在今年 1 月,月活跃用户估计已达 1 亿,成为历史上用户增长最快的消费应用。


随着 ChatGPT 在全球范围内迅速走红,全球互联网大厂、创业公司纷纷加码布局。在国外,谷歌加急推出了人工智能聊天机器人 Bard Bard;在国内,百度将在 3 月推出类似 ChatGPT 的产品“文心一言”,除了百度,几家中国初创公司也这一赛道探索着。


近日,国内首个类 ChatGPT 模型终于来了。

复旦发布中国版 ChatGPT 模型 MOSS


2 月 20 日,复旦大学自然语言处理实验室宣布,国内第一个对话式大型语言模型 MOSS 已由邱锡鹏教授团队发布至公开平台(https://moss.fastnlp.top/),并邀公众参与内测。


据介绍,MOSS 可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通,为国内学术界和产业界提供了重要经验,将助力大语言模型的进一步探索和应用。


根据 MOSS 官网的介绍,MOSS 和 ChatGPT 之间存在三大区别:


  1. MOSS 的参数数量远少于 ChatGPT。

  2. MOSS 通过与人类和其他 AI 模型交谈来学习,而 ChatGPT 通过人类反馈强化学习 (RLHF) 进行训练。

  3. MOSS 将开源以促进未来的研究,但 ChatGPT 可能不会。据悉,MOSS 的名称来自电影《流浪地球》。 在《流浪地球》中,MOSS 是一台智能量子计算机,也是领航员空间站核心智能主机,具有自我意识、自我迭代、自我更新的特点。


复旦大学发布的对话式大型语言模型 MOSS,其开发的基本步骤与 ChatGPT 一样,包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。在对话能力训练阶段,OpenAI 收集了至少几十万条人类指令,让各行各业的专业标注员写出指令回复,再将它们输入模型基座,以帮助 ChatGPT 逐步理解各种指令。复旦团队则采用不同的技术路线,通过让 MOSS 和人类以及其他对话模型都进行交互,显著提升了学习效率和研发效率,短时间内就高效完成了对话能力训练。


MOSS 提供的示例显示,它能够回答问题、生成表格、代码等。比如,它能推荐 5 部科幻电影:



能生成一段 Python 程序实现快速排序:



也能解释代码背后的原理:



邱锡鹏表示:“尽管 MOSS 还有很大改善空间,但它的问世证明了在开发类 ChatGPT 产品的路上,国内科研团队有能力克服技术上的重要挑战”。MOSS 研发项目得到了上海人工智能实验室的有力支持。后期,这项工作将通过开源方式和业界社区分享。


邱锡鹏是国内自然语言处理专家。根据复旦大学计算机科学技术学院官网介绍,邱锡鹏教授于复旦大学获得理学学士和博士学位。研究方向为自然语言处理、深度学习,发表 CCF-A/B 类论文 70 余篇。主持开发了开源自然语言处理工具 FudanNLP、FastNLP,获得了学术界和产业界的广泛使用。

内测服务器被挤爆,团队致歉


MOSS 发布后迅速登上热搜,不过,MOSS 开启内测没多久,服务器就被挤崩了。有用户在社交媒体上发布截图显示,该平台“服务器流量过载,请明天上午重试”。


2 月 21 日,MOSS 官网发布公告称:“MOSS 还是一个非常不成熟的模型,距离 ChatGPT 还有很长的路需要走。我们一个学术研究的实验室无法做出和 ChatGPT 能力相近的模型,MOSS 只是想在百亿规模参数上探索和验证 ChatGPT 的技术路线,并且实现各种对话能力。


我们最初的想法只是想将 MOSS 进行内测,以便我们可以进一步优化,没有想到会引起这么大的关注,我们的计算资源不足以支持如此大的访问量,并且作为学术团队我们也没有相关的工程经验,给大家造成非常不好的体验和第一印象,在此向大家致以真诚的歉意。”


MOSS 团队表示,未来 MOSS 将会开源。“MOSS 目前还处于内测阶段,主要目的为通过和用户交互来迭代优化,暂不适合大规模用户公测。在 MOSS 完成初步的验证之后,我们会将 MOSS 的经验、代码、模型参数开源出来供大家参考。中国版 ChatGPT 的诞生还需要中国全体 AI 从业者的努力,也更需要不断和人交互以提高能力。”

中国版 ChatGPT 前路漫漫


两天时间,MOSS 从开启内测时的全民欢呼,到内测服务器挤崩被骂,足见大众对中国版 ChatGPT 的期待。


不过,正如北京商报的评论所说,“MOSS 一口吃不成 ChatGPT”。受长期以来国内人才、投入、基础研究以及投资风格等方面的复杂因素影响,中国版 ChatGPT 距离真正的 ChatGPT 确实存在一定的距离。


邱锡鹏坦言:“MOSS 与 ChatGPT 的差距主要在自然语言模型基座预训练这个阶段。MOSS 的参数量比 ChatGPT 小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。”


MOSS 团队表示,虽然 MOSS 获得了 ChatGPT 的一些能力,但由于缺乏高质量的数据、计算资源和模型能力,MOSS 仍然存在许多限制,MOSS 仍然远远落后于 ChatGPT。团队将通过提供一个可访问的 MOSS 界面,根据有价值的用户反馈(在获得许可的情况下)不断改进模型。


  • 由于训练数据中的多语言语料库有限,MOSS 在理解和生成非英语文本方面表现不佳。团队目前正在开发一个改进版本,以提高其中文语言能力。

  • 由于模型容量相对较小,MOSS 没有包含足够的世界知识。因此,MOSS 生成的某些响应可能包含误导性或虚假信息。

  • 有时 MOSS 会迂回执行,甚至不按指令执行。在这种情况下,用户可能需要多次重新生成或修改提示才能获得满意的响应。我们正在积极提高其指令遵循能力和生产力。

  • 有时 MOSS 会被提示生成不道德或有害的响应。用户可请点击“不喜欢”帮助其减轻此类行为, MOSS 团队将在下一个版本中更新模型。


正如前搜狗 CEO 王小川所说:“OpenAI 的成功,首先是技术理想主义的胜利。中国需要自己的 OpenAI,就需要技术理想主义。大厂受限于自己的业务牵引,追逐资本热点的创业公司更动作变形。不止如此,这种理想主义还需要有爱国之心、商业智慧和学术尊重去获得政府支持、推动企业联盟和学术界协同。我相信中国能诞生自己的 OpenAI。”


我们期望在未来 MOSS 能够成功,中国版 ChatGPT 能够成功。

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2023-02-21 16:065350
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 493.1 次阅读, 收获喜欢 1966 次。

关注

评论 3 条评论

发布
用户头像
网红?
2023-02-24 15:21 · 山东
回复
用户头像
一个是商业产品,一个是测试demo,感觉完全不能拿来比较啊
2023-02-23 16:41 · 北京
回复
用户头像
居然还是英文示例!加油啊,小朋友!
2023-02-22 22:28 · 浙江
回复
没有更多了
发现更多内容

观测云登陆阿里云计算巢,共建ISV新生态

观测云

可观测性 可观测

netty系列之:netty中常用的字符串编码解码器

程序那些事

Java Netty 程序那些事 4月月更

如何在面试中机智的展现架构能力?

非凸科技

rust 编程语言 量化 构架师 互联网大厂

终于有人讲明白了!原来这才是全球低时延一张网技术

华为云开发者联盟

音视频 华为云 实时音视频 低时延

为什么switch里的case没有break不行

爱好编程进阶

Java 面试 后端开发

刚拿的字节跳动offer“打水漂”

爱好编程进阶

Java 面试 后端开发

Android系统有哪些优缺点

InfoQ IT百科

为什么手机操作系统开始向多端融合方向发展

InfoQ IT百科

LAXCUS分布式操作系统冗余容错之节点篇

LAXCUS分布式操作系统

分布式系统 冗余 集群容灾

你知道Java是如何解决可见性和有序性问题的吗?

爱好编程进阶

Java 面试 后端开发

你必须懂也可以懂的微服务系列三:服务调用

爱好编程进阶

Java 面试 后端开发

4.25解锁OpenHarmony技术日!年度盛会,即将揭幕!

Anna

手机硬件都有哪些

InfoQ IT百科

洞见科技首批通过央行国家金融科技测评中心「联邦学习」产品评测,实现「MPC+FL」金融应用双认证

洞见科技

联邦学习 隐私计算 多方安全计算

不同研发协作模式在云效中的应用

阿里云云效

云计算 阿里云 云原生 研发 研发协作

移动平台WorkPlus集成化办公,打造企业全场景业务生态

WorkPlus

手机处理器未来的发展趋势如何

InfoQ IT百科

未来手机操作系统有哪些发展趋势

InfoQ IT百科

【高并发】为何在32位多核CPU上执行long型变量的写操作会出现诡异的Bug问题?看完这篇我懂了!

冰河

并发编程 多线程 协程 异步编程 精通高并发系列

开发手机操作系统的难度有多大

InfoQ IT百科

手机拍照算法和硬件哪个更重要

InfoQ IT百科

手机硬件性能的发展主要受哪几方面制约

InfoQ IT百科

未来的手机操作系统在智能化上会有哪些突破

InfoQ IT百科

手机软硬件协同很重要吗?

InfoQ IT百科

诚邀报名丨首期OpenHarmony开发者成长计划分享日

OpenHarmony开发者

OpenHarmony

Oceanbase 和 TiDB 粗浅对比之 - 执行计划

TiDB 社区干货传送门

如何优化前端页面的LCP?

BUG侦探

前端 性能 网页指标

为拿几家大厂Offer,“闭关修炼

爱好编程进阶

Java 面试 后端开发

华为18级大牛整理总结:微服务设计和分布式服务框架原理实践文档

爱好编程进阶

Java 面试 后端开发

18张图,详解SpringBoot解析yml全流程

码农参上

springboot 配置文件 4月月更

别找了,这是迄今为止把微服务讲的最清楚的一篇!没有之一

爱好编程进阶

Java 面试 后端开发

第一个中国版ChatGPT来了!复旦团队出品,名字源自《流浪地球》,内测首日网站被挤崩_AI&大模型_刘燕_InfoQ精选文章