【ArchSummit】如何通过AIOps推动可量化的业务价值增长和效率提升?>>> 了解详情
写点什么

第一个中国版 ChatGPT 来了!复旦团队出品,名字源自《流浪地球》,内测首日网站被挤崩

  • 2023-02-21
    北京
  • 本文字数:2423 字

    阅读完需:约 8 分钟

第一个中国版ChatGPT来了!复旦团队出品,名字源自《流浪地球》,内测首日网站被挤崩

“MOSS 还是一个非常不成熟的模型,距离 ChatGPT 还有很长的路需要走。”


自去年 11 月底正式发布以来,OpenAI 最新的 AI 聊天机器人 ChatGPT 迅速成为现象级应用。瑞银发布的研究报告显示,ChatGPT 在今年 1 月,月活跃用户估计已达 1 亿,成为历史上用户增长最快的消费应用。


随着 ChatGPT 在全球范围内迅速走红,全球互联网大厂、创业公司纷纷加码布局。在国外,谷歌加急推出了人工智能聊天机器人 Bard Bard;在国内,百度将在 3 月推出类似 ChatGPT 的产品“文心一言”,除了百度,几家中国初创公司也这一赛道探索着。


近日,国内首个类 ChatGPT 模型终于来了。

复旦发布中国版 ChatGPT 模型 MOSS


2 月 20 日,复旦大学自然语言处理实验室宣布,国内第一个对话式大型语言模型 MOSS 已由邱锡鹏教授团队发布至公开平台(https://moss.fastnlp.top/),并邀公众参与内测。


据介绍,MOSS 可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通,为国内学术界和产业界提供了重要经验,将助力大语言模型的进一步探索和应用。


根据 MOSS 官网的介绍,MOSS 和 ChatGPT 之间存在三大区别:


  1. MOSS 的参数数量远少于 ChatGPT。

  2. MOSS 通过与人类和其他 AI 模型交谈来学习,而 ChatGPT 通过人类反馈强化学习 (RLHF) 进行训练。

  3. MOSS 将开源以促进未来的研究,但 ChatGPT 可能不会。据悉,MOSS 的名称来自电影《流浪地球》。 在《流浪地球》中,MOSS 是一台智能量子计算机,也是领航员空间站核心智能主机,具有自我意识、自我迭代、自我更新的特点。


复旦大学发布的对话式大型语言模型 MOSS,其开发的基本步骤与 ChatGPT 一样,包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。在对话能力训练阶段,OpenAI 收集了至少几十万条人类指令,让各行各业的专业标注员写出指令回复,再将它们输入模型基座,以帮助 ChatGPT 逐步理解各种指令。复旦团队则采用不同的技术路线,通过让 MOSS 和人类以及其他对话模型都进行交互,显著提升了学习效率和研发效率,短时间内就高效完成了对话能力训练。


MOSS 提供的示例显示,它能够回答问题、生成表格、代码等。比如,它能推荐 5 部科幻电影:



能生成一段 Python 程序实现快速排序:



也能解释代码背后的原理:



邱锡鹏表示:“尽管 MOSS 还有很大改善空间,但它的问世证明了在开发类 ChatGPT 产品的路上,国内科研团队有能力克服技术上的重要挑战”。MOSS 研发项目得到了上海人工智能实验室的有力支持。后期,这项工作将通过开源方式和业界社区分享。


邱锡鹏是国内自然语言处理专家。根据复旦大学计算机科学技术学院官网介绍,邱锡鹏教授于复旦大学获得理学学士和博士学位。研究方向为自然语言处理、深度学习,发表 CCF-A/B 类论文 70 余篇。主持开发了开源自然语言处理工具 FudanNLP、FastNLP,获得了学术界和产业界的广泛使用。

内测服务器被挤爆,团队致歉


MOSS 发布后迅速登上热搜,不过,MOSS 开启内测没多久,服务器就被挤崩了。有用户在社交媒体上发布截图显示,该平台“服务器流量过载,请明天上午重试”。


2 月 21 日,MOSS 官网发布公告称:“MOSS 还是一个非常不成熟的模型,距离 ChatGPT 还有很长的路需要走。我们一个学术研究的实验室无法做出和 ChatGPT 能力相近的模型,MOSS 只是想在百亿规模参数上探索和验证 ChatGPT 的技术路线,并且实现各种对话能力。


我们最初的想法只是想将 MOSS 进行内测,以便我们可以进一步优化,没有想到会引起这么大的关注,我们的计算资源不足以支持如此大的访问量,并且作为学术团队我们也没有相关的工程经验,给大家造成非常不好的体验和第一印象,在此向大家致以真诚的歉意。”


MOSS 团队表示,未来 MOSS 将会开源。“MOSS 目前还处于内测阶段,主要目的为通过和用户交互来迭代优化,暂不适合大规模用户公测。在 MOSS 完成初步的验证之后,我们会将 MOSS 的经验、代码、模型参数开源出来供大家参考。中国版 ChatGPT 的诞生还需要中国全体 AI 从业者的努力,也更需要不断和人交互以提高能力。”

中国版 ChatGPT 前路漫漫


两天时间,MOSS 从开启内测时的全民欢呼,到内测服务器挤崩被骂,足见大众对中国版 ChatGPT 的期待。


不过,正如北京商报的评论所说,“MOSS 一口吃不成 ChatGPT”。受长期以来国内人才、投入、基础研究以及投资风格等方面的复杂因素影响,中国版 ChatGPT 距离真正的 ChatGPT 确实存在一定的距离。


邱锡鹏坦言:“MOSS 与 ChatGPT 的差距主要在自然语言模型基座预训练这个阶段。MOSS 的参数量比 ChatGPT 小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。”


MOSS 团队表示,虽然 MOSS 获得了 ChatGPT 的一些能力,但由于缺乏高质量的数据、计算资源和模型能力,MOSS 仍然存在许多限制,MOSS 仍然远远落后于 ChatGPT。团队将通过提供一个可访问的 MOSS 界面,根据有价值的用户反馈(在获得许可的情况下)不断改进模型。


  • 由于训练数据中的多语言语料库有限,MOSS 在理解和生成非英语文本方面表现不佳。团队目前正在开发一个改进版本,以提高其中文语言能力。

  • 由于模型容量相对较小,MOSS 没有包含足够的世界知识。因此,MOSS 生成的某些响应可能包含误导性或虚假信息。

  • 有时 MOSS 会迂回执行,甚至不按指令执行。在这种情况下,用户可能需要多次重新生成或修改提示才能获得满意的响应。我们正在积极提高其指令遵循能力和生产力。

  • 有时 MOSS 会被提示生成不道德或有害的响应。用户可请点击“不喜欢”帮助其减轻此类行为, MOSS 团队将在下一个版本中更新模型。


正如前搜狗 CEO 王小川所说:“OpenAI 的成功,首先是技术理想主义的胜利。中国需要自己的 OpenAI,就需要技术理想主义。大厂受限于自己的业务牵引,追逐资本热点的创业公司更动作变形。不止如此,这种理想主义还需要有爱国之心、商业智慧和学术尊重去获得政府支持、推动企业联盟和学术界协同。我相信中国能诞生自己的 OpenAI。”


我们期望在未来 MOSS 能够成功,中国版 ChatGPT 能够成功。

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2023-02-21 16:065374
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 494.8 次阅读, 收获喜欢 1968 次。

关注

评论 3 条评论

发布
用户头像
网红?
2023-02-24 15:21 · 山东
回复
用户头像
一个是商业产品,一个是测试demo,感觉完全不能拿来比较啊
2023-02-23 16:41 · 北京
回复
用户头像
居然还是英文示例!加油啊,小朋友!
2023-02-22 22:28 · 浙江
回复
没有更多了
发现更多内容

关于职能型团队管理一些总结

黄大路

项目管理 管理

直播电商行业一些看法

黄大路

互联网 商业 商业模式 商业价值 行业资讯

使用人工智能技术改进面试机器人

陆道峰

人工智能 学习 聊天机器人

做程序员有未来吗

山楂大卷

程序员 个人成长 职业规划 技术人

如何快速对应用系统做一个360度画像诊断?

姜戈

Java 运维 多线程 网络 内存

Scrum精髓 - Scrum的核心到底是什么

Bob Jiang

Scrum 敏捷 Scrum精髓 敏捷精髓

如何打造个人品牌?

石云升

个人 品牌

Elasticsearch原理讲透了!

for

lucene elasticsearch 倒排索引 分布式搜索引擎 数据的分片和备份

回"疫"录(11):别让善良寒了心

小天同学

疫情 回忆录 现实纪录 纪实

Java并发编程--ReentrantLock

Java收录阁

并发编程

读 Go Scheduler 有感:给产品经理的建议

Ya

程序员 产品经理 操作系统 OS Scheduler

程序员的晚餐 | 5月9日 炖蹄髈

清远

程序员

以不变应万变——复杂系统回归测试新思路

刘华Kenneth

DevOps 敏捷 测试 单体系统 复杂

数据挖掘|cross_val_score交叉验证使用

黄大路

Python 数据挖掘 学习 数据分析

Redis 命令执行过程(上)

程序员历小冰

redis 源码分析

游戏夜读 | 联网才能玩的单机

game1night

来了来了,2020 首场 Meetup ,可!

Apache Flink

大数据 flink 流计算 实时计算

关于查尔斯-斯特里克兰

黄大路

提升认知 小说 个人提升 认识自己

DevOps怎样影响开发运维人员

脚动两轮男之漂流小王子

DevOps

腊鸡与猴儿

黄大路

人生 小说

一个 UED 团队的自我修养

oldj

团队管理 UED

产品经理中必会SQL技能,相关内容研发可不予支持

韩超

MySQL sql 产品经理

拜托,别再问我Zookeeper如何实现分布式锁了!

不才陈某

zookeeper 分布式 后端 分布式锁

向上管理第一项:路径P背后的目标B

kimmking

管理

面试官浅析程序员面试过程中的二三事

joe

互联网 个人成长 方法 职场 文化

Java 环境配置与编辑器使用

旭霁

Java IDEA

高仿瑞幸小程序 04 小程序的全局数据

曾伟@喵先森

小程序 微信小程序 大前端

理解雾计算(Fog Computing)与边缘计算(Edge Computing)

老任物联网杂谈

雾计算 Fog Computing 边缘计算 Edge Computing

ROS与OpenAI结合使用教程(概览)

辣么大

真实 Java 笔试题

旭霁

面试

数据库连接池的大小

Java收录阁

数据库

第一个中国版ChatGPT来了!复旦团队出品,名字源自《流浪地球》,内测首日网站被挤崩_AI&大模型_刘燕_InfoQ精选文章