写点什么

智谱 AI 张鹏谈大模型进展和挑战,在 CNCC 会议上推出第三代基座大模型 ChatGLM3

  • 2023-10-30
    北京
  • 本文字数:2510 字

    阅读完需:约 8 分钟

智谱AI张鹏谈大模型进展和挑战,在CNCC会议上推出第三代基座大模型ChatGLM3

在 2023 年 10 月 27 日的沈阳 CNCC 中国计算机大会上,大模型已经成为了大会议题的焦点,各个领域都在围绕大模型展开讨论。


在 27 日上午的“大模型的研究进展与产业应用展望”论坛,由 CCF 副秘书长谭晓生主持,德国国家工程院院士张建伟、复旦大学计算机学院教授邱锡鹏、智谱 AI CEO 张鹏、科大讯飞研究院院长刘聪、蚂蚁集团副总裁徐鹏等专家参与讨论的圆桌交流环节也取得了丰富的成果,专家从各自的视角分享了大模型的进展、挑战以及未来的问题。以下整理智谱 AI CEO 张鹏老师的部分观点。



关于大模型领域的进展,张鹏认为,目前大模型的进展可以归结为通用智能,即基础模型的通用智能水平的提升。上一代人工智能大多数还是单向的感知能力。而大模型最大的优势是能把这些感知能力整合起来,形成一个更泛化的、更强大的认知级别的能力。这其中就包括推理能力、复杂问题的拆解能力,以及跨模态对齐能力。


最受关注的其实就是跨模态融合的能力,经过实践后发现多模态或者跨模态的数据可以通过训练的方法完美的融合到一起,在一定程度上提升了大模型的智能水平。


另外,基于认知能力的提升,可以观察到像智能体 Agent 这一类的研究,确实能够极大地增强大模型在实际应用当中的效果,让大模型从搭配 Benchmark 的实验环境走入到真正的应用当中,来解决实际的应用问题,这在张鹏看来是让人欣喜的进展。


大模型在研发和应用过程中也会遇到不少的挑战。张鹏认为,除了算力和数据方面的挑战之外,在算法方面也同样有挑战,当前所有的大模型都基于 2017 年提出的 Transformer 架构,未来是否会被改进或被新的东西代替也是大家关心的问题。另外张鹏考虑更多的另一个挑战是应用安全问题,包括私有数据训练等,首先要考虑的就是安全。


关于产出的内容审核的解决办法,大模型产出的内容在提供给用户之前,对于所提供的内容审核问题也是很重要的。张鹏说,首先平台要保证尽量不要传递错误的讯息,其次是为了达到这个目的,可以借鉴已有的多年的经验,例如人机融合或者人机交互是提升工作效率的有效方式之一。通过借鉴互联网、社交媒体等行业的经验,可以降低人工成本,并保证内容的安全性。

智谱 ChatGLM3 以及相关系列产品发布


在此次 CNCC 会议上,智谱 AI 推出了自主研发的第三代基座大模型 ChatGLM3 以及相关系列产品。这是继智谱 AI 推出千亿基座的对话模型 ChatGLM 和 ChatGLM2 之后的又一重大突破。


此次推出的 ChatGLM3 采用了独创的多阶段增强预训练方法,使训练更为充分。评测显示,在 44 个中英文公开数据集测试中,ChatGLM3 在国内同尺寸模型中排名首位。智谱 AI CEO 张鹏在现场做了新品发布,并实时演示了最新上线的产品功能。

ChatGLM3 全新技术升级 更高性能更低成本


通过更丰富的训练数据和更优的训练方案,智谱 AI 推出的 ChatGLM3 性能更加强大。与 ChatGLM2 相比,MMLU 提升 36%、CEval 提升 33%、GSM8K 提升 179% 、BBH 提升 126%。


同时,ChatGLM3 瞄向 GPT-4V 本次实现了若干全新功能的迭代升级,包括多模态理解能力的 CogVLM-看图识语义,在 10 余个国际标准图文评测数据集上取得 SOTA;代码增强模块 Code Interpreter 根据用户需求生成代码并执行,自动完成数据分析、文件处理等复杂任务;网络搜索增强 WebGLM-接入搜索增强,能自动根据问题在互联网上查找相关资料并在回答时提供参考相关文献或文章链接。ChatGLM3 的语义能力与逻辑能力得到了极大的增强。


ChatGLM3 还集成了自研的 AgentTuning 技术,激活了模型智能体能力,尤其在智能规划和执行方面,相比于 ChatGLM2 提升了 1000% ;开启了国产大模型原生支持工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景。


此外,ChatGLM3 本次推出可手机部署的端测模型 ChatGLM3-1.5B 和 ChatGLM3-3B,支持包括 vivo、小米、三星在内的多款手机以及车载平台,甚至支持移动平台上 CPU 芯片的推理,速度可达 20 tokens/s。精度方面 1.5B 和 3B 模型在公开 Benchmark 上与 ChatGLM2-6B 模型性能接近。


基于最新的高效动态推理和显存优化技术,ChatGLM3 当前的推理框架在相同硬件、模型条件下,相较于目前最佳的开源实现,包括伯克利大学推出的 vLLM 以及 Hugging Face TGI 的最新版本,推理速度提升了 2-3 倍,推理成本降低一倍,每千 tokens 仅 0.5 分,成本最低。

新一代“智谱清言”上线  国内首推代码交互能力


在全新升级的 ChatGLM3 赋能下,生成式 AI 助手智谱清言已成为国内首个具备代码交互能力的大模型产品(Code Interpreter)(https://chatglm.cn/main/code)。“代码”功能目前已支持图像处理、数学计算、数据分析等使用场景。


随着 WebGLM 大模型能力的加入,智谱清言也具有了搜索增强能力,可以帮助用户整理出相关问题的网上文献或文章链接,并直接给出答案。



此前已发布的 CogVLM 模型则提高了智谱清言的中文图文理解能力,取得了接近 GPT-4V 的图片理解能力,它可以回答各种类型的视觉问题,并且可以完成复杂的目标检测,并打上标签,完成自动数据标注。



自 2022 年初,智谱 AI 推出的 GLM 系列模型已支持在昇腾、神威超算、海光 DCU 架构上进行大规模预训练和推理。截至目前,智谱 AI 的产品已支持 10 余种国产硬件生态,包括昇腾、神威超算、海光 DCU、海飞科、沐曦曦云、算能科技、天数智芯、寒武纪、摩尔线程、百度昆仑芯、灵汐科技、长城超云等。通过与国产芯片企业的联合创新,性能不断优化,将有助于国产原生大模型与国产芯片早日登上国际舞台。



智谱 AI 此次推出的 ChatGLM3 及相关系列产品,全面提升了自身的模型性能,为业界打造了更开放的开源生态,并进一步降低了普通用户使用 AIGC 产品的门槛。AI 正在引领我们进入一个新的时代,大模型必将加速这一时刻的到来。

【活动推荐】


在 2023 年 12 月 28-29 日,InfoQ 将在上海举办QCon全球软件开发大会,这个会议上结合当前的趋势热点,设置了 GenAI 和通用大模型应用探索、AI Agent 与行业融合应用的前景、LLM 时代的性能优化、智能化信创软件 IDE、LLM 时代的大前端技术、高性能网关设计、面向人工智能时代的架构、高效的编程语言、性能工程、LLM 推理加速和大规模服务、现代数据架构演进、建设弹性组织的经验传递、SaaS 云服务弹性架构设计等专题,目前也正在邀请业界的专家来会议上演讲。感兴趣的可以点击QCon会议官网,查看详细的介绍,也欢迎您来会议上演讲,分享技术实践。

2023-10-30 09:513767

评论

发布
暂无评论
发现更多内容

从0到1:基于微信小程序的瑜伽馆预约平台的开发笔记

CC同学

在线JSON转CSV格式文件工具

入门小站

工具

python sorted()函数及sort()方法,零基础Python开发

程序媛可鸥

Python 程序员 面试

周末给女友讲了遍加密算法,没想到...

浅羽技术

算法 安全 加密算法

Nebula Graph 在企查查的应用

NebulaGraph

数据库 开源 图数据库 知识图谱

档案管理系统平台:助力实现档案管理现代化

小炮

python Excel数据表格转为HTML网页数据表格,阿里快手拼多多等7家大厂Python面试真题

程序媛可鸥

Python 程序员 面试

【模块五】设计微博系统中”微博评论“的高性能高可用计算架构

yhjhero

架构 #架构训练营

2022年最新iOS面试题(附答案)

iOSer

ios iOS面试 ios开发 iOS 知识体系 iOS涨薪

在线SQL(Insert/Update)语句转JSON工具

入门小站

工具

数据分析师如何正确地提意见?

博文视点Broadview

用户文章 | 没有什么比现成的解决方案更香的了 - P4Python 玩家速看

龙智—DevSecOps解决方案

perforce P4 Perforce Helix Core P4Python

全球案例 | Hubspot 通过 Confluence 打造透明的协作文化,使之成为让无数人骄傲的企业

龙智—DevSecOps解决方案

Jira Atlassian Atlassian Confluence 协同办公软件 协同软件

龙智荣誉 | 一封来自客户的感谢信

龙智—DevSecOps解决方案

感谢信

郑州等保测评公司有哪些?在哪里?

行云管家

网络安全 等保 等保测评 等保2.0 郑州

踏雪痕项目管理学习笔记

踏雪痕

项目管理 PMP Certification 3月程序媛福利 3月月更

性能测试中Disruptor框架ExceptionHandler使用分享

FunTester

Disruptor 性能测试 接口测试 异常处理 FunTester

中文在线研讨会 | 如何突破Jenkins瓶颈,实现集中管理、灵活高效的CI/CD

龙智—DevSecOps解决方案

ci 持续集成 持续交付

什么牌子的云堡垒机好用?效果好?

行云管家

云计算 堡垒机 云堡垒机

虚位以待 | 龙智有你更出彩

龙智—DevSecOps解决方案

求职 招聘

企业CICD规模化落地浅析

阿里云云效

云计算 阿里云 云原生 CI/CD 持续交付

Trace大盘点

奋飞安全

代码安全 | 什么是OWASP?OWASP十大漏洞解析

龙智—DevSecOps解决方案

漏洞 安全漏洞 漏洞防护 OWASP十大漏洞 静态代码安全

【网络安全】记一次网站站点渗透

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 安全漏洞

攻击面管理(ASM)技术详解和实现

风向标

网络安全 asm 安全419 零零信安

龙蜥一站式质量协作平台T-One上线,助你轻松完成测试

OpenAnolis小助手

开源 测试 软件包 协作平台

网站被DDOS攻击了怎么办?

源字节1号

开源 前端开发 后端开发

python pandas loc布尔索引(指定条件下的索引),你花了多久弄明白架构设计

程序媛可鸥

Python 程序员 面试

Linux之ab命令

入门小站

Linux

315权益日解读:“幸运”大牌和巨头,“挡枪”作坊和“小弟”?

易观分析

315晚会 央视315晚会 消费者权益

一眼定位问题,函数计算发布日志关键词秒检索功能

阿里巴巴云原生

智谱AI张鹏谈大模型进展和挑战,在CNCC会议上推出第三代基座大模型ChatGLM3_生成式 AI_Xue Liang_InfoQ精选文章