发布在即!企业 AIGC 应用程度测评,3 步定制专属评估报告。抢首批测评权益>>> 了解详情
写点什么

参数是 ChatGPT 的近 6 倍!英特尔公布 AI 大模型 Aurora genAI,具备 1 万亿参数

  • 2023-05-25
    北京
  • 本文字数:1967 字

    阅读完需:约 6 分钟

参数是ChatGPT的近6倍!英特尔公布AI大模型Aurora genAI,具备1万亿参数

模型参数越大就越好吗?

英特尔公布 AI 大模型 Aurora genAI,具备 1 万亿参数


wccftech 报道,英特尔近日公布了旗下生成式 AI 大模型 Aurora genAI


据悉,Aurora genAI 参数量高达 1 万亿,其开发依赖于 Megatron 和 DeepSpeed 框架,这些结构增强了模型的强度和容量。而 ChatGPT 模型参数量是 1750 亿,这也意味着,Aurora genAI 的参数量是ChatGPT 的近 6 倍


据悉,Aurora genAI 模型是英特尔是与阿贡国家实验室和 HPE 合作开发的,它是一个纯粹以科学为中心的生成式 AI 模型,将被用于各类科学应用,包括分子和材料设计、乃至涵盖数百万来源的综合知识素材,据此为系统生物学、高分子化学、能源材料、气候科学和宇宙学等提供值得探索的实验设计思路。这些模型还将用于加速癌症及其他疾病的相关生物过程的识别速度,并为药物设计提供靶点建议。


除了科研之外,Aurora genAI 还具有在自然语言处理、机器翻译、图像识别、语音识别、金融建模等商业领域的应用潜力。


阿贡实验室副主任 Rick Stevens 介绍称,“这个项目希望充分利用 Aurora 超级计算机的全部潜力,为能源部各实验室的下游科学研究和其他跨机构合作计划提供资源。”


根据介绍,Aurora genAI 模型将由生物学、化学、材料科学、物理学、医学等学科的常规文本、代码、科学文本和结构化数据训练而成。阿贡实验室正带头组织国际合作以推进该项目,参与方包括英特尔、HPE、能源部各下辖实验室、美国及其他国际性高校、非营利组织,以及 RIKEN 等国际合作伙伴。


Aurora genAI 模型将运行在英特尔为阿拉贡国家实验室开发的 Aurora 超算上,其性能达到了 200 亿亿次,是当前 TOP500 超算冠军 Frontier 的 2 倍。近日,英特尔和阿贡国家实验室还公布了 Aurora 的安装进度、系统规格和早期性能测试结果:


  • 英特尔已完成 Aurora 超级计算机 1 万多块刀片服务器的交付。

  • Aurora 的完整系统采用 HPE Cray EX 超算架构,将拥有 63744 个 GPU 和 21248 个 CPU,辅以 1024 个 DAOS 存储节点。Aurora 还将配备 HPE Slingshot 高性能以太网络。

  • 早期性能结果显示,Aurora 超算系统在实际科学和工程负载上具有领先性能,性能表现比 AMD MI250 GPU 高出 2 倍,在 QMCPACK 量子力学应用程序上的性能比 H100 提高 20%,且能够在数百个节点上保持近线性的算力扩展。作为 ChaGPT 的有力竞争者,Aurora genAI 的公布预示着 AI 大模型赛道又迎来了新的重磅玩家,并极有可能在未来对各种科学领域产生重大影响。不过目前,Aurora genAI 更像是处于概念阶段,英特尔的目标是到 2024 年完成 Aurora genAI 模型的构建。


对于英特尔的万亿参数 AI 大模型 Aurora genAI,有网友表示:“我不相信仅仅增加参数数量就能改进模型,我认为我们不应该发布新闻稿追逐增加参数数量。我在研究中还发现,较大的模型通常不会表现得更好,但由于不负责任的营销,这变得越来越难以向非技术人员解释。如果我们对这些营销放任不管,我们会让很多人失望,并降低大家对 AI 未来增长潜力的信心——我们不想要另一个 AI 寒冬。训练这些大型模型会产生巨大的环境成本,而且理解、使用和控制这些非常大的模型(即使作为研究人员)也变得更加困难。”

AI 军备竞赛进入“万亿参数模型”对抗时代?


近几年,随着 AI 大模型赛道持续升温,越来越多的科技巨头加入进来,并不断打破参数规模记录。


2021 年 1 月,谷歌大脑团队重磅推出超级语言模型 Switch Transformer,该模型有 1.6 万亿个参数,是当时规模最大的 NLP 模型。同年 6 月,智源研究院发布悟道 2.0,该系统参数数量已超过 1.75 万亿,是当时全球最大的大规模智能模型系统。同年 11 月,阿里达摩院发布多模态大模型 M6,其参数已从万亿跃迁至 10 万亿,是当时全球最大的 AI 预训练模型。


有分析指出,中美 AI 军备竞赛的核心战场正是万亿级预训练模型。打造千万亿参数规模的预训练模型是人类的一个超级工程,可能会对国家甚至人类社会产生重大影响。


那么,模型参数越大就越好吗?


鹏城实验室网络智能部云计算所副所长相洋曾在接受 InfoQ 采访时指出:


我们最初见到的一些模型是几万个参数,后来就到了几亿、几十亿、百亿、千亿,还有可能上万亿。目前从事实来说,的确是模型越大数据越多,且质量越好,带来的性能是越高的。但是我个人认为,这个提升曲线可能会有一个瓶颈期,到了瓶颈或者平台期的时候,它的上升速度可能就会缓慢,或者说基本就达到稳定了。就目前而言,可能我们还没有到达平台期。所以说,“模型参数越大越好”这个说法在一定程度上是成立的。


但是,判断一个大模型是否优秀,不能只看参数,还要看实际表现。模型得出来的任务效果好,我们就可以认为这个模型是个好模型。参数不是问题,当机器无论是在存储还是计算能力都足够强的时候,大模型也可以变成小模型。


此外,还要考虑模型的可解释能力,以及是否容易受噪声的攻击。如果该模型有一定的解释能力,那这个模型就是一个好模型;如果该模型不易被噪声数据或是其他因素影响的话,那这个模型也是一个好模型。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2023-05-25 14:004387

评论

发布
暂无评论
发现更多内容

Java进阶(二十七)使用Dom4j解析XML文件

No Silver Bullet

Java xml 9月月更 DOM4J

计算机网络——编码与调制

StackOverflow

编程 计算机网络 9月月更

WeLink协作文档:办公协作再快一档

科技怪咖

「趣学前端」Taro实践+踩坑记录第一期

叶一一

taro 前端 框架 9月月更

jQuery之实战

楠羽

笔记 JQuery框架 9月月更

gopher成长之路(五): 2年前和2年后同一个项目

非晓为骁

个人成长

爆火小游戏《羊了个羊》,我偏不玩

图灵社区

游戏开发 游戏设计 游戏史

4 张图了解 CI/CD 基础~

掘金安东尼

前端 9月月更

[Maven进阶]分模块开发与设计

十八岁讨厌编程

maven 后端开发 9月月更

redis对应的数据类型及其底层原理

知识浅谈

redis 底层原理 9月月更

Elasticsearch聚合的嵌套桶如何排序

程序员欣宸

9月月更

架构师的十八般武艺:架构方法论

agnostic

TOGAF Zachman

[SpringMVC]拦截器①(概述、入门案例)

十八岁讨厌编程

springmvc 后端开发 9月月更

利用flexible.js和VSCode插件cssrem进行可伸缩布局方案

海底烧烤店ai

前端 JavaScrip 响应式网页 9月月更

一次线上事故,我顿悟了异步的精髓

勇哥java实战分享

C++学习---cstdio的源码学习分析03-文件重命名函数rename

桑榆

c++ 源码阅读 9月月更

王者荣耀商城异地多活架构设计

张立奎

Flutter - Google 开源的移动 UI 框架

陈橘又青

9月月更

Qt|实现简单的分割窗口

中国好公民st

qt 分割 9月月更

精通高并发与内核 | 解析Linux内核并发并行

小明Java问道之路

并发编程 并发 并行 Linux内核 9月月更

SAP UI5 Form 表单 Column Layout 下的 Column 个数分配问题

Jerry Wang

JavaScript Fiori SAP UI5 ui5 9月月更

「趣学前端」自己动手丰衣足食的TS项目开发

叶一一

typescript 前端 ts 9月月更

Redis的事件

急需上岸的小谢

9月月更

架构师的十八般武艺:架构目标

agnostic

架构目标

架构之美第一篇-概述

Marvin Ma

架构 企业架构 架构模式 架构三要素 架构发展历史

带你玩转NProgress进度条

海底烧烤店ai

前端 JavaScrip 9月月更

uni-app黑马优购项目学习记录(一)

海底烧烤店ai

小程序 uni-app JavaScrip 9月月更

一文带你快速入门【哈希表】

Fire_Shield

数据结构 哈希表 9月月更

力扣93 - 复原IP地址【回溯算法】

Fire_Shield

LeetCode 字符串 9月月更

数学家的这些迷惑行为,最后都成了神操作

图灵社区

数学 数学教育 数学家

[SpringMVC]拦截器②(拦截器参数、拦截器链配置)

十八岁讨厌编程

springmvc 后端开发 9月月更

参数是ChatGPT的近6倍!英特尔公布AI大模型Aurora genAI,具备1万亿参数_文化 & 方法_凌敏_InfoQ精选文章