写点什么

微软秘密开发首个千亿大模型,竟由 OpenAI 对手操刀!网友:你不要奥特曼了?

  • 2024-05-07
    北京
  • 本文字数:2650 字

    阅读完需:约 9 分钟

大小:1.17M时长:06:50
微软秘密开发首个千亿大模型,竟由OpenAI对手操刀!网友:你不要奥特曼了?

整理 | 华卫


Phi-3 Mini 模型发布不到两周,微软又传出了自研千亿参数级别模型的消息。


自向 OpenAI 投资超 100 亿美元以换取重用其人工智能模型的权利以来,微软首次开始在内部自研全新且足够大的人工智能模型,或能与来自谷歌、Anthropic 和 OpenAI 的最先进模型相竞争。


这个新模型在内部被称为 MAI-1,由前谷歌人工智能领导者、 AI 初创公司 Inflection 的 CEO 穆斯塔法·苏莱曼 (Mustafa Suleyman) 负责监督。知情人士称,MAI-1 的参数规模将远远大于 Phi-3 等任何微软之前训练过的较小的开源模型。但这意味着,它将需要更多的计算能力和训练数据,因此成本会更高。


同时,微软此举表明,其现在正在人工智能领域追求“双重轨道”,目标是开发既可以廉价地构建到应用程序中又可以在移动设备上运行的“小语言模型”,以及更大、最先进的人工智能模型。苹果目前似乎也正在探索类似的路径,此前同样也发布了八款针对设备使用的小型 AI 语言模型。


5000 亿参数级别

最早或于本月亮相


据介绍,MAI-1 将有大约 5000 亿个参数或设置,可以调整这些参数或设置以确定模型在训练期间学习的内容。相比之下,OpenAI 的 GPT-4 有超过 1 万亿个参数,而 Meta 和 Mistral 等公司发布的小型开源模型有 700 亿个参数。


这表明,MAI-1 可以定位为 GPT-3 和 GPT-4 之间级别的一种模型,该模型将能够提供远远高于 Llama 和 Mistral 等开源模型、但或低于 OpenAI 旗舰版 LLM 的响应精度。


为了训练该模型,微软一直在分配大量配备 Nvidia GPU 的服务器,并编译各种来源的训练数据,包括 OpenAI 的 GPT-4 生成的文本和公共互联网数据,还可能会使用来自 Inflection 的训练数据和某些其他资产来支持 MAI-1。


目前,MAI-1 的确切用途尚未确定(即使在微软内部),其最理想的用途将取决于其性能。如果该模型确实具有 5000 亿个参数,那么在消费类设备上运行就太复杂了。这意味着,微软很可能会在其数据中心部署 MAI-1,在这里大语言模型可以集成到 Bing 和 Azure 等服务中。


微软可能最早在本月晚些时候的 Build 开发者大会上,根据未来几周取得的进展亮相 MAI-1。


MAI-1 的研发是基于 Inflection?


“尽管 MAI-1 是一种全新的、与 Inflection 之前发布的 Pi 分开的大型语言模型 ,但其可能建立在前 Inflection 员工带来的技术之上。”据两名了解情况的微软员工称。


从 OpenAI 官网的一份声明来看,Inflection 曾是 OpenAI 的竞争对手,但它现在把业务重点从聊天机器人 Pi 转向了向企业销售人工智能软件。曾担任过各种技术职务的肖恩·怀特 (Sean White) 已加入该公司,担任新任 CEO。


今年 3 月,微软以 6.5 亿美元收购了这家初创公司的大部分员工和知识产权,并聘请苏莱曼来领导一个新的消费者人工智能部门。该部门将面向消费者的产品(包括微软的 Copilot、Bing、Edge 和 GenAI)归入一个名为 Microsoft AI 的团队,而苏莱曼直接向 Microsoft 首席执行官萨蒂亚·纳德拉(Satya Nadella)汇报工作。


新部门标志着 Microsoft 的重大组织转变,其网络服务总裁 Mikhail Parakhin 将与他的整个团队一起向苏莱曼汇报工作。这也是微软利用生成人工智能热潮的最新举措之一。


纳德拉在一份声明中说:“我认识穆斯塔法已经好几年了,我非常钦佩他作为 DeepMind 和 Inflection 的创始人,以及一个有远见的产品制造商和追求大胆使命的开拓团队建设者。”


DeepMind 于 2010 年在英国成立,2014 年被谷歌以 5 亿美元收购,苏莱曼是该公司的三位创始人之一。在 DeepMind 就职时,苏莱曼曾因员工抱怨其咄咄逼人又过于激进的管理风格引发争议,于 2019 年被迫离开 DeepMind。之后谈到当时的员工投诉时,苏莱曼回应说:“我真的搞砸了。我要求很高,而且相当无情。我设定了一些相当不合理的期望,导致一些人的工作环境非常恶劣。我对此感到非常遗憾。”


几个月后,他转到谷歌总部,负责领导人工智能产品管理和政策。2022 年,他从谷歌离职,加入了硅谷风险投资公司 Greylock,并于当年晚些时候推出了 Inflection。


据悉,微软还将聘用 Inflection 的大部分员工,Inflection 的联合创始人兼首席科学家 Karén Simonyan 也将担任其 AI 团队的首席科学家。虽然微软没有明确调动的员工人数,但表示其中包括人工智能工程师、研究人员和大型语言模型构建者,他们设计并共同完成了“过去五年中为推动人工智能发展做出的许多最重要贡献”。


Inflection 的第三位联合创始人、LinkedIn 创始人兼执行主席 Reid Hoffman 将继续留在 Inflection 的董事会。


去年 6 月,Inflection 还完成 13 亿美元的一轮融资,由微软、英伟达和三位亿万富翁(Reid Hoffman、Bill Gates 和 Eric Schmidt)牵头投资。当时,微软首席技术官 Kevin Scott 还表示,“像 Inflection 这样雄心勃勃的人工智能公司,正在凭借易于使用并展示人工智能多种可能性的变革性产品引领行业发展。”


结束语


微软开发 MAI-1 大模型,也凸显了其试图独立于 OpenAI 等人工智能厂商去探索 AI 开发的意愿。

此前,微软一直致力于在其 Windows、Office 软件和网络安全工具等产品中推出人工智能助手,但多采取与外部企业合作的方式。


去年,微软向 ChatGPT 的制造商 OpenAI 投资了 130 亿美元,并将其技术快速集成到产品和数字体验中。目前,OpenAI 的技术为微软的许多生成式 AI 功能提供支持,包括 Azure、Copilot 和内置 Windows 的聊天机器人。


微软还投资了其他人工智能初创公司,包括向法国人工智能初创公司 Mistral AI 投资 20 亿欧元(约合 21 亿美元),将 Mistral AI 的大型语言模型(LLM)在 Azure 云计算平台上进行托管。

今后,这一切可能都会有所变化,微软或将开始推动自研大模型在各产品中的应用。据悉,苏莱曼领导的部门将接手把 AI 版本的 Copilot 集成到 Windows 操作系统中,以及开展增强生成式 AI 在其 Bing 搜索引擎中的使用等项目。


“微软正参与一场 AI 竞赛”,微软的一位 AI 工程师在前不久说,但在道德和保障方面,微软为速度走了捷径,匆忙推出产品而没有充分考虑接下来会发生什么。所有大型科技公司都可以访问大部分相同的数据,AI 领域没有真正的护城河。


参考链接:

https://tech.slashdot.org/story/24/05/06/1437231/microsoft-readies-new-ai-model-to-compete-with-google-openai

https://arstechnica.com/information-technology/2024/05/microsoft-developing-mai-1-language-model-that-may-compete-with-openai-report/

https://www.ft.com/content/5feedf3a-ff7a-4c89-9b1d-f9b48834ff4c

https://siliconangle.com/2024/05/06/microsoft-reportedly-developing-mai-1-llm-500b-parameters/

2024-05-07 14:455206

评论

发布
暂无评论
发现更多内容

千锋1024程序员节锋企优联开启认证考试大咖直播,为学员开启认证学习秘籍

千锋IT教育

户外LED电子显示屏市场会走向哪

Dylan

LED LED显示屏 户外LED显示屏

什么是分布式数据库?我不信,看完这篇你还不懂!

TiDB 社区干货传送门

数据库架构设计 数据库前沿趋势

等保备案和通信网络单元定级备案的五大区别讲解

行云管家

等保 等级保护 等保备案

顶级的计算机科学家是如何养成的?

博文视点Broadview

MySQL高级:explain分析SQL,索引失效&常见优化场景

程序员小毕

Java MySQL 数据库 后端 索引

云原生安全系列 1:零信任安全和软件开发生命周期

HummerCloud

云原生 安全 云原生安全 安全软件开发生命周期 10月月更

问:React的useState和setState到底是同步还是异步呢?

beifeng1996

React

「Go工具箱」go语言csrf库的使用方式和实现原理

Go学堂

golang 开源 程序员 CSRF 10月月更

一面高频vue面试题

bb_xiaxia1998

Vue

专项贴息贷款加速投放 锋云智慧助力教育信息化乘风而上

千锋IT教育

react源码中的协调与调度

flyzz177

React

负载均衡

Andy

微信小程序浅践

Andy

一次TiDB GC阻塞引发的性能问题分析

TiDB 社区干货传送门

性能调优 管理与运维 故障排查/诊断

干货好文 | 初探MySQL迁移到ClickHouse

沃趣科技

MySQL Clickhouse

如何在填报场景中使用数据绑定获取数据源

葡萄城技术团队

新思科技推出适用于IntelliJ集成开发环境的Code Sight标准版解决方案

InfoQ_434670063458

软件开发 代码 新思科技

嵌入式 Linux 入门(七、Linux 下的环境变量)

矜辰所致

Linux 环境变量 10月月更

每日一题之Vue的异步更新实现原理是怎样的?

bb_xiaxia1998

Vue

【IT运维小知识】如何通俗理解节点、集群以及主从?

行云管家

高可用 高可用HA

react源码中的生命周期和事件系统

flyzz177

React

《一条select 语句在TiDB Server层都发生了什么》

TiDB 社区干货传送门

管理与运维

从React源码来学hooks是不是更香呢

goClient1992

React

【web 开发基础】PHP 循环结构之 for 循环 -PHP 快速入门 (19)

迷彩

for循环 10月月更 web开发基础 PHP基础

TiDB 生产集群与加密通讯TLS的辛酸苦辣 - 开启篇

TiDB 社区干货传送门

集群管理 管理与运维

前端培训适合零基础学习吗

小谷哥

Nginx浅析

Andy

从React源码角度看useCallback,useMemo,useContext

goClient1992

React

JVM 浅析(二)

Andy

每日一题之请描述Vue组件渲染流程

bb_xiaxia1998

Vue

微软秘密开发首个千亿大模型,竟由OpenAI对手操刀!网友:你不要奥特曼了?_生成式 AI_华卫_InfoQ精选文章