写点什么

智谱 AI 张鹏谈大模型进展和挑战,在 CNCC 会议上推出第三代基座大模型 ChatGLM3

  • 2023-10-30
    北京
  • 本文字数:2510 字

    阅读完需:约 8 分钟

智谱AI张鹏谈大模型进展和挑战,在CNCC会议上推出第三代基座大模型ChatGLM3

在 2023 年 10 月 27 日的沈阳 CNCC 中国计算机大会上,大模型已经成为了大会议题的焦点,各个领域都在围绕大模型展开讨论。


在 27 日上午的“大模型的研究进展与产业应用展望”论坛,由 CCF 副秘书长谭晓生主持,德国国家工程院院士张建伟、复旦大学计算机学院教授邱锡鹏、智谱 AI CEO 张鹏、科大讯飞研究院院长刘聪、蚂蚁集团副总裁徐鹏等专家参与讨论的圆桌交流环节也取得了丰富的成果,专家从各自的视角分享了大模型的进展、挑战以及未来的问题。以下整理智谱 AI CEO 张鹏老师的部分观点。



关于大模型领域的进展,张鹏认为,目前大模型的进展可以归结为通用智能,即基础模型的通用智能水平的提升。上一代人工智能大多数还是单向的感知能力。而大模型最大的优势是能把这些感知能力整合起来,形成一个更泛化的、更强大的认知级别的能力。这其中就包括推理能力、复杂问题的拆解能力,以及跨模态对齐能力。


最受关注的其实就是跨模态融合的能力,经过实践后发现多模态或者跨模态的数据可以通过训练的方法完美的融合到一起,在一定程度上提升了大模型的智能水平。


另外,基于认知能力的提升,可以观察到像智能体 Agent 这一类的研究,确实能够极大地增强大模型在实际应用当中的效果,让大模型从搭配 Benchmark 的实验环境走入到真正的应用当中,来解决实际的应用问题,这在张鹏看来是让人欣喜的进展。


大模型在研发和应用过程中也会遇到不少的挑战。张鹏认为,除了算力和数据方面的挑战之外,在算法方面也同样有挑战,当前所有的大模型都基于 2017 年提出的 Transformer 架构,未来是否会被改进或被新的东西代替也是大家关心的问题。另外张鹏考虑更多的另一个挑战是应用安全问题,包括私有数据训练等,首先要考虑的就是安全。


关于产出的内容审核的解决办法,大模型产出的内容在提供给用户之前,对于所提供的内容审核问题也是很重要的。张鹏说,首先平台要保证尽量不要传递错误的讯息,其次是为了达到这个目的,可以借鉴已有的多年的经验,例如人机融合或者人机交互是提升工作效率的有效方式之一。通过借鉴互联网、社交媒体等行业的经验,可以降低人工成本,并保证内容的安全性。

智谱 ChatGLM3 以及相关系列产品发布


在此次 CNCC 会议上,智谱 AI 推出了自主研发的第三代基座大模型 ChatGLM3 以及相关系列产品。这是继智谱 AI 推出千亿基座的对话模型 ChatGLM 和 ChatGLM2 之后的又一重大突破。


此次推出的 ChatGLM3 采用了独创的多阶段增强预训练方法,使训练更为充分。评测显示,在 44 个中英文公开数据集测试中,ChatGLM3 在国内同尺寸模型中排名首位。智谱 AI CEO 张鹏在现场做了新品发布,并实时演示了最新上线的产品功能。

ChatGLM3 全新技术升级 更高性能更低成本


通过更丰富的训练数据和更优的训练方案,智谱 AI 推出的 ChatGLM3 性能更加强大。与 ChatGLM2 相比,MMLU 提升 36%、CEval 提升 33%、GSM8K 提升 179% 、BBH 提升 126%。


同时,ChatGLM3 瞄向 GPT-4V 本次实现了若干全新功能的迭代升级,包括多模态理解能力的 CogVLM-看图识语义,在 10 余个国际标准图文评测数据集上取得 SOTA;代码增强模块 Code Interpreter 根据用户需求生成代码并执行,自动完成数据分析、文件处理等复杂任务;网络搜索增强 WebGLM-接入搜索增强,能自动根据问题在互联网上查找相关资料并在回答时提供参考相关文献或文章链接。ChatGLM3 的语义能力与逻辑能力得到了极大的增强。


ChatGLM3 还集成了自研的 AgentTuning 技术,激活了模型智能体能力,尤其在智能规划和执行方面,相比于 ChatGLM2 提升了 1000% ;开启了国产大模型原生支持工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景。


此外,ChatGLM3 本次推出可手机部署的端测模型 ChatGLM3-1.5B 和 ChatGLM3-3B,支持包括 vivo、小米、三星在内的多款手机以及车载平台,甚至支持移动平台上 CPU 芯片的推理,速度可达 20 tokens/s。精度方面 1.5B 和 3B 模型在公开 Benchmark 上与 ChatGLM2-6B 模型性能接近。


基于最新的高效动态推理和显存优化技术,ChatGLM3 当前的推理框架在相同硬件、模型条件下,相较于目前最佳的开源实现,包括伯克利大学推出的 vLLM 以及 Hugging Face TGI 的最新版本,推理速度提升了 2-3 倍,推理成本降低一倍,每千 tokens 仅 0.5 分,成本最低。

新一代“智谱清言”上线  国内首推代码交互能力


在全新升级的 ChatGLM3 赋能下,生成式 AI 助手智谱清言已成为国内首个具备代码交互能力的大模型产品(Code Interpreter)(https://chatglm.cn/main/code)。“代码”功能目前已支持图像处理、数学计算、数据分析等使用场景。


随着 WebGLM 大模型能力的加入,智谱清言也具有了搜索增强能力,可以帮助用户整理出相关问题的网上文献或文章链接,并直接给出答案。



此前已发布的 CogVLM 模型则提高了智谱清言的中文图文理解能力,取得了接近 GPT-4V 的图片理解能力,它可以回答各种类型的视觉问题,并且可以完成复杂的目标检测,并打上标签,完成自动数据标注。



自 2022 年初,智谱 AI 推出的 GLM 系列模型已支持在昇腾、神威超算、海光 DCU 架构上进行大规模预训练和推理。截至目前,智谱 AI 的产品已支持 10 余种国产硬件生态,包括昇腾、神威超算、海光 DCU、海飞科、沐曦曦云、算能科技、天数智芯、寒武纪、摩尔线程、百度昆仑芯、灵汐科技、长城超云等。通过与国产芯片企业的联合创新,性能不断优化,将有助于国产原生大模型与国产芯片早日登上国际舞台。



智谱 AI 此次推出的 ChatGLM3 及相关系列产品,全面提升了自身的模型性能,为业界打造了更开放的开源生态,并进一步降低了普通用户使用 AIGC 产品的门槛。AI 正在引领我们进入一个新的时代,大模型必将加速这一时刻的到来。

【活动推荐】


在 2023 年 12 月 28-29 日,InfoQ 将在上海举办QCon全球软件开发大会,这个会议上结合当前的趋势热点,设置了 GenAI 和通用大模型应用探索、AI Agent 与行业融合应用的前景、LLM 时代的性能优化、智能化信创软件 IDE、LLM 时代的大前端技术、高性能网关设计、面向人工智能时代的架构、高效的编程语言、性能工程、LLM 推理加速和大规模服务、现代数据架构演进、建设弹性组织的经验传递、SaaS 云服务弹性架构设计等专题,目前也正在邀请业界的专家来会议上演讲。感兴趣的可以点击QCon会议官网,查看详细的介绍,也欢迎您来会议上演讲,分享技术实践。

2023-10-30 09:513608

评论

发布
暂无评论
发现更多内容

云南区块链电子发票全面推广啦!

CECBC

区块链 纳税人

云原生架构-可观测性之 Prometheus 服务自动发现

云原生实验室

即构实时音视频多中心调度设计

ZEGO即构

住建部等六部门:广泛运用区块链等技术,建设智慧物业管理服务平台

CECBC

物业生活

EMAS远程日志 - 移动端问题排查利器

移动研发平台EMAS

阿里云 运维 日志 监控告警 应用

Shell脚本命令常用技巧

MySQL从删库到跑路

shell脚本编写

附PPT丨AI和云原生时代的数据库进化之路

dbaplus社群

数据库 云原生

几种常见的研发管理体系,哪种更适合你?

菜根老谭

敏捷开发 研发管理 CMMI IPD

告别消费主义的双12,是华为云12.12会员节真正的意义

脑极体

浅谈JDK并发包下面的分治思想及分治思想在高并发场景的运用

AI乔治

Java 架构 jdk 分布式 多线程与高并发

图文回顾丨北京「解构云原生:企业数字化转型新支点」沙龙

Rancher

k8s rancher

Apache顶级项目ShardingSphere — SQL Parser的设计与实现

京东数科风险算法与技术

数据库 开源 中间件

自建本地电话告警系统

周楠

运维 物联网 监控告警

信任的传递——为什么我们需要第三方授权?

张凯峰

证书 身份认证

记一次MapReduce的内存溢出

AI乔治

Java mapreduce 架构 内存溢出

静态代码分析工具评估指标及方法

maijun

面向全场景模块化设计 京东智联云的服务器部署有多灵活?

京东科技开发者

服务器 云主机

建信金科大咖访谈:金融衍生品定价与建行实践

金科优源汇

金融科技 金融创新

AWS 助力贝壳VR看房走出国门,升级全球居住服务新体验

亚马逊云科技 (Amazon Web Services)

AWS

大咖直播 | Elasticsearch 应用监控管理平台搭建实战

腾讯云大数据

大数据 elasticsearch Elastic Stack 监控管理平台

牵头成立“现代计算联盟”,强大如谷歌也需要组团打怪吗?

脑极体

第13周作业

饭桶

太赞了!滴滴开源了一套分布式ID的生成系统...

Java架构师迁哥

搭建网站/APP最全准备攻略

前嗅大数据

小程序 建站 APP发布

Java中多线程安全问题实例分析

叫练

Java 多线程 什么是多线程 多线程与高并发

第十三周学习总结

饭桶

Elasticsearch 新机型发布,性能提升30%

腾讯云大数据

大数据 elasticsearch Elastic Stack

这才是你需要的C/C++Linux学习路线!

赖猫

c++ Linux 后台开发 服务器开发

如何在数智化时代少走弯路? 这里有100个案例可以借鉴

京东科技开发者

DevOps 云原生

传统巨头抢占区块链场景高地 医疗、汽车、金融成为热门赛道

CECBC

区块链 金融

互联网应用系统常见问题与方案

raox

极客大学架构师训练营

智谱AI张鹏谈大模型进展和挑战,在CNCC会议上推出第三代基座大模型ChatGLM3_生成式 AI_Xue Liang_InfoQ精选文章