智谱 AI 张鹏谈大模型进展和挑战，在 CNCC 会议上推出第三代基座大模型 ChatGLM3

在 2023 年 10 月 27 日的沈阳 CNCC 中国计算机大会上，大模型已经成为了大会议题的焦点，各个领域都在围绕大模型展开讨论。

在 27 日上午的“大模型的研究进展与产业应用展望”论坛，由 CCF 副秘书长谭晓生主持，德国国家工程院院士张建伟、复旦大学计算机学院教授邱锡鹏、智谱 AI CEO 张鹏、科大讯飞研究院院长刘聪、蚂蚁集团副总裁徐鹏等专家参与讨论的圆桌交流环节也取得了丰富的成果，专家从各自的视角分享了大模型的进展、挑战以及未来的问题。以下整理智谱 AI CEO 张鹏老师的部分观点。

关于大模型领域的进展，张鹏认为，目前大模型的进展可以归结为通用智能，即基础模型的通用智能水平的提升。上一代人工智能大多数还是单向的感知能力。而大模型最大的优势是能把这些感知能力整合起来，形成一个更泛化的、更强大的认知级别的能力。这其中就包括推理能力、复杂问题的拆解能力，以及跨模态对齐能力。

最受关注的其实就是跨模态融合的能力，经过实践后发现多模态或者跨模态的数据可以通过训练的方法完美的融合到一起，在一定程度上提升了大模型的智能水平。

另外，基于认知能力的提升，可以观察到像智能体 Agent 这一类的研究，确实能够极大地增强大模型在实际应用当中的效果，让大模型从搭配 Benchmark 的实验环境走入到真正的应用当中，来解决实际的应用问题，这在张鹏看来是让人欣喜的进展。

大模型在研发和应用过程中也会遇到不少的挑战。张鹏认为，除了算力和数据方面的挑战之外，在算法方面也同样有挑战，当前所有的大模型都基于 2017 年提出的 Transformer 架构，未来是否会被改进或被新的东西代替也是大家关心的问题。另外张鹏考虑更多的另一个挑战是应用安全问题，包括私有数据训练等，首先要考虑的就是安全。

关于产出的内容审核的解决办法，大模型产出的内容在提供给用户之前，对于所提供的内容审核问题也是很重要的。张鹏说，首先平台要保证尽量不要传递错误的讯息，其次是为了达到这个目的，可以借鉴已有的多年的经验，例如人机融合或者人机交互是提升工作效率的有效方式之一。通过借鉴互联网、社交媒体等行业的经验，可以降低人工成本，并保证内容的安全性。

智谱 ChatGLM3 以及相关系列产品发布

在此次 CNCC 会议上，智谱 AI 推出了自主研发的第三代基座大模型 ChatGLM3 以及相关系列产品。这是继智谱 AI 推出千亿基座的对话模型 ChatGLM 和 ChatGLM2 之后的又一重大突破。

此次推出的 ChatGLM3 采用了独创的多阶段增强预训练方法，使训练更为充分。评测显示，在 44 个中英文公开数据集测试中，ChatGLM3 在国内同尺寸模型中排名首位。智谱 AI CEO 张鹏在现场做了新品发布，并实时演示了最新上线的产品功能。

ChatGLM3 全新技术升级 更高性能更低成本

通过更丰富的训练数据和更优的训练方案，智谱 AI 推出的 ChatGLM3 性能更加强大。与 ChatGLM2 相比，MMLU 提升 36%、CEval 提升 33%、GSM8K 提升 179% 、BBH 提升 126%。

同时，ChatGLM3 瞄向 GPT-4V 本次实现了若干全新功能的迭代升级，包括多模态理解能力的 CogVLM-看图识语义，在 10 余个国际标准图文评测数据集上取得 SOTA；代码增强模块 Code Interpreter 根据用户需求生成代码并执行，自动完成数据分析、文件处理等复杂任务；网络搜索增强 WebGLM-接入搜索增强，能自动根据问题在互联网上查找相关资料并在回答时提供参考相关文献或文章链接。ChatGLM3 的语义能力与逻辑能力得到了极大的增强。

ChatGLM3 还集成了自研的 AgentTuning 技术，激活了模型智能体能力，尤其在智能规划和执行方面，相比于 ChatGLM2 提升了 1000% ；开启了国产大模型原生支持工具调用、代码执行、游戏、数据库操作、知识图谱搜索与推理、操作系统等复杂场景。

此外，ChatGLM3 本次推出可手机部署的端测模型 ChatGLM3-1.5B 和 ChatGLM3-3B，支持包括 vivo、小米、三星在内的多款手机以及车载平台，甚至支持移动平台上 CPU 芯片的推理，速度可达 20 tokens/s。精度方面 1.5B 和 3B 模型在公开 Benchmark 上与 ChatGLM2-6B 模型性能接近。

基于最新的高效动态推理和显存优化技术，ChatGLM3 当前的推理框架在相同硬件、模型条件下，相较于目前最佳的开源实现，包括伯克利大学推出的 vLLM 以及 Hugging Face TGI 的最新版本，推理速度提升了 2-3 倍，推理成本降低一倍，每千 tokens 仅 0.5 分，成本最低。

新一代“智谱清言”上线  国内首推代码交互能力

在全新升级的 ChatGLM3 赋能下，生成式 AI 助手智谱清言已成为国内首个具备代码交互能力的大模型产品（Code Interpreter）（https://chatglm.cn/main/code）。“代码”功能目前已支持图像处理、数学计算、数据分析等使用场景。

随着 WebGLM 大模型能力的加入，智谱清言也具有了搜索增强能力，可以帮助用户整理出相关问题的网上文献或文章链接，并直接给出答案。

此前已发布的 CogVLM 模型则提高了智谱清言的中文图文理解能力，取得了接近 GPT-4V 的图片理解能力,它可以回答各种类型的视觉问题，并且可以完成复杂的目标检测，并打上标签，完成自动数据标注。

自 2022 年初，智谱 AI 推出的 GLM 系列模型已支持在昇腾、神威超算、海光 DCU 架构上进行大规模预训练和推理。截至目前，智谱 AI 的产品已支持 10 余种国产硬件生态，包括昇腾、神威超算、海光 DCU、海飞科、沐曦曦云、算能科技、天数智芯、寒武纪、摩尔线程、百度昆仑芯、灵汐科技、长城超云等。通过与国产芯片企业的联合创新，性能不断优化，将有助于国产原生大模型与国产芯片早日登上国际舞台。

智谱 AI 此次推出的 ChatGLM3 及相关系列产品，全面提升了自身的模型性能，为业界打造了更开放的开源生态，并进一步降低了普通用户使用 AIGC 产品的门槛。AI 正在引领我们进入一个新的时代，大模型必将加速这一时刻的到来。

【活动推荐】

在 2023 年 12 月 28-29 日，InfoQ 将在上海举办QCon全球软件开发大会，这个会议上结合当前的趋势热点，设置了 GenAI 和通用大模型应用探索、AI Agent 与行业融合应用的前景、LLM 时代的性能优化、智能化信创软件 IDE、LLM 时代的大前端技术、高性能网关设计、面向人工智能时代的架构、高效的编程语言、性能工程、LLM 推理加速和大规模服务、现代数据架构演进、建设弹性组织的经验传递、SaaS 云服务弹性架构设计等专题，目前也正在邀请业界的专家来会议上演讲。感兴趣的可以点击QCon会议官网，查看详细的介绍，也欢迎您来会议上演讲，分享技术实践。