【ArchSummit】如何通过AIOps推动可量化的业务价值增长和效率提升?>>> 了解详情
写点什么

计算资源分配不公引发内斗!LLaMA 核心作者流失大半,Meta AI 联合主管也已离职

  • 2023-09-07
    北京
  • 本文字数:2215 字

    阅读完需:约 7 分钟

大小:1.13M时长:06:35
计算资源分配不公引发内斗!LLaMA核心作者流失大半,Meta AI联合主管也已离职

计算资源上的内斗,导致 Meta AI 研究部门四分五裂。

 

随着 OpenAI 及其他科技巨头在 AI 领域取得突破,Meta 也正忙于发布自己的大语言模型,希望在这一新兴领域占得立足之地。日前,Meta 发布了大模型 LLaMALLaMA 2,作为 OpenAI 和 Anthropic 私有模型的开源替代,LLaMA 和 LLaMA 2 在市场上备受好评。但对大部分参与该项目的科学家和工程师来说,称赞来得太迟了。

 

作为一家由社交媒体巨头转向元宇宙技术研发的大厂,Meta 旗下的 AI 研究实验室 Fundamental AI Research (FAIR) 正面临内部危机。

Meta 公司因争抢计算资源发生内斗

 

据 The Information 近日报道,消息人士表示,Meta 参与 LLaMA 项目的人员大半都已辞职,原因是与公司另一个研究团队在计算资源上的内斗。此外,另一个与 LLaMA 相竞争的模型已被 Meta 放弃。

 

据悉,2022 年,来自美国的一支 FAIR 团队发布了 OPT-175B,这是一套拥有 1750 亿参数的模型。与此同时,常驻巴黎的另一支 FAIR 队伍则着手开发体量较小的 LLaMA 模型,并坚信其效率能够与更大模型相媲美。

 

但与 OPT 团队相比,巴黎团队所能获得的算力资源严重不足。随着运营体系内的分配纠纷不断升级,Meta 内部的紧张局势也是愈演愈烈。

 

2023 年 2 月,随着 FAIR 正式发布 LLaMA,矛盾和压力也终于逼近临界点。

 

此前一周,Meta AI 的联合主管兼巴黎分部负责人 Antoine Bordes 以工作过度和为了配合加州工作时间而筋疲力尽为由选择辞职。他的退出加剧了 Meta 美国和巴黎两支队伍间的分歧,最终闹到了势同水火的地步。为此,Meta 只得放弃了 OPT 模型,并要求双方团队的成员在 LLaMA 2 项目上共同合作。

 

公众对于 Meta 发布的 LLaMA 和 LLaMA 2 均表示赞赏,称它们为 OpenAI 和 Anthropic 的最先进模型提供了免费的开源替代方案。然而,市场上的一片好评并没能平息 FAIR 之内部分研究人员和工程师们的不满,其中不少人已经申请退出 Meta。

有限的计算资源该怎么分?

 

在生成式 AI 的训练过程中,需要使用大量的计算资源,Meta 这类科技巨头虽然比其它公司拥有更多的计算资源,但也是有限制的。

 

在部分员工看来,Meta 内部今日的紧张局面,早在 FAIR 确立开放 AI 研究的使命时就已埋下了祸根。世界各地的 FAIR 实验室争相开发各种项目,从改善磁共振成像到解析自然语言等。而在 ChatGPT 横空出世之后,新的难题更是压在每个 FAIR 人头上:如何在有限的资源下,将现有 AI 功能整合起来?

 

FAIR 部门负责人 Joelle Pineau 在接受 The Information 采访时坦言,Meta 内部的计算资源分配每月都需要由来自企业多个部门的领导班子重新议定

 

她承认,LLaMA 和其他团队在资源的具体分配上表现得“有点关系紧张”。Pineau 还强调,高层领导应当在各竞争项目间分配有限资源时努力权衡,尽量在保证顶尖人才的充分参与之外为各个研究方向提供充足的资源供应,而这显然并非易事。

 

Pineau 称,“我自己的大部分工作时间都花在了挽留和吸引优秀人才上,毕竟没有了这些出色的参与者,我什么都做不了。”

 

当然,爆发计算资源争夺的绝不只有 Meta 一家。随着生成式 AI 开发变得越来越复杂、资源密集度愈盛,不少科技巨头也开始感受到专用芯片不足、可调度资源有限的窘境。这个现实问题令 AI 研究人员的留存工作变得更加复杂。

大厂的 AI 人才痛:招人难,留人更难

 

今年以来,Meta 的 AI 人才流失严重。知情人士称,2 月发表的 LLaMA 论文的 14 名作者中,一半以上已经离开 Meta 司,其中几位加入了 AI 创业公司或其它大公司。这种外流不仅仅是人才上的损失,更是整个 AI 行业在局势持续紧张、资源限制日益加剧的现实之下表现出的自然态势。

 

Meta 内部的结构性变化更是令复杂现实雪上加霜。去年 11 月,Meta 宣布裁减约 13% 的员工,即 11000 个工作岗位,这是其历史上规模最大的一轮裁员。今年 2 月,Meta 成立了一支新团队,专注于为自家应用开发生成式 AI 技术。此举从已经捉襟见肘的研究人员队伍中又抽调走了几名生力军。

 

目前,Meta 公司仍在寻求理想结构、希望保持正常研发。想要保住这份竞争力,团队自身的敏捷运营和团队间的通力协作将至关重要。AI 人才之争在短时间内尚无平息的迹象, 而 Meta 只有想办法成功留存并吸引到研究人员,其作为技术大厂的资源优势才能真正转化为市场领先地位。

 

不只 Meta,谷歌近几年也流失了不少 AI 人才,Transformer 的八位作者甚至全部离开了谷歌。OpenAI 的日子也不好过,据量子比特统计,OpenAI 的 51 位研究人员中,有 16 位人才离开了 OpenAI,离职率高达三分之一;根据 AMiner 的统计,OpenAI 的 ChatGPT R&D 团队已经有 4 人离职。

 

留人难,招人也并不轻松。AI 大模型热潮使得 AI 人才成为各大公司的争抢对象,供需关系紧张。拉勾招聘发布的《2023 第一季度 AIGC 人才供需报告》显示,在 AI 抢人大战中,AIGC 人才岗位需求量在今年 3 月环比增加 42%。

 

美国知名求职网站 Indeed 数据显示,近几个月来,合乎 AI 要求的招聘职位急剧上升,尤其是中高级的 AI 人才供不应求,招聘薪资也不断攀升。另一家知名求职网站 Adzuna 数据也显示,6 月份美国有 760 万个空缺职位,而与 AI 相关的职位空缺已经上升至 169045 个,其中有 3575 个职位特别标注需要有 AIGC 的技能。

 

参考链接:

https://www.theinformation.com/articles/inside-metas-ai-drama-internal-feuds-over-compute-power

https://www.reddit.com/r/LocalLLaMA/comments/16b18tj/inside_metas_ai_drama_internal_feuds_over_compute/

公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2023-09-07 14:025865

评论

发布
暂无评论
发现更多内容

分布式事务对于两阶段提交的错误处理

KunlunBase昆仑数据库

分布式数据库

J2PaaS低代码平台,如何赋能开发者,助力企业数字化?

J2PaaS低代码平台

开发者 低代码 企业数字化 地代码平台 J2PaaS

【Kali】中密码暴力破解工具hydra的使用

学神来啦

网络安全 字典 kali kali Linux

以领先NLP技术构建AI数字疗法体系,聆心智能致力于解开更多“心结”

硬科技星球

昆仑分布式数据库技术优势

KunlunBase昆仑数据库

分布式数据库 国产数据库

无所不云,开启你的美好旅行新体验!

天翼云开发者社区

昆仑分布式数据库Sequence功能及其实现机制

KunlunBase昆仑数据库

分布式数据库

星汉未来成为 FinOps 产业标准生态联盟首批会员

星汉未来

云原生 开源社区 成本优化 IT运维

RTC 音频质量评价和保障

网易云信

WebRTC

在线TOML转JSON工具

入门小站

工具

昆仑分布式数据库技术特点

KunlunBase昆仑数据库

分布式数据库 国产数据库

天翼云TeleDB数据库为实现自主可控全面亮剑

天翼云开发者社区

Javascript实现上传图片并实现预览图片功能的三种方法

deal

3月日更 3月程序媛福利 3月月更

开发者说丨如何从零开始构建一个轻量级应用

华为云开发者联盟

Vue 低代码 页面 应用 AppCube

C++ 内存管理中内存泄漏问题产生原因以及解决方法

Linux服务器开发

C/C++ 内存管理 内存泄漏 Linux服务器开发 Linux后台开发

广电行业如何上云?来抄作业!

天翼云开发者社区

亿级月活沙盒平台《迷你世界》背后的黑科技

华为云数据库小助手

GaussDB DDM 华为云数据库

如何为你的企业创建自助服务知识库

小炮

国内领先的云软件厂商安超云加入,为龙蜥社区注入新动能

OpenAnolis小助手

开源 操作系统 云厂商 国产

在一条DML语句中插入/更新/删除/获取几百万行数据,你会特别注意什么?

KunlunBase昆仑数据库

分布式数据库

昆仑分布式数据库架构介绍

KunlunBase昆仑数据库

数据库 分布式数据库

天翼云与龙芯完成产品兼容适配加速国产化云平台发展

天翼云开发者社区

10分钟快速玩转kunlun cluster

KunlunBase昆仑数据库

分布式数据库

经典的两阶段提交算法原理及缺陷

KunlunBase昆仑数据库

分布式数据库

响应速度提升80%以上,甘肃省医保信息平台稳固上线有法宝

华为云开发者联盟

数据库 华为云 华为云数据库 智慧医疗 医保

31 家企业入选阿里云首期云原生加速器,共建云原生行业新生态

阿里巴巴中间件

云计算 阿里云 云原生 加速器 生态伙伴

【OpenMLDB Monthly Meeting】2022.2 月会议纪要

第四范式开发者社区

人工智能 数据库 开源 Meetup 特征平台

为什么要选择昆仑分布式数据库?

KunlunBase昆仑数据库

国产数据库

多任务学习模型之DBMTL介绍与实现

阿里云大数据AI技术

机器学习 深度学习 数据模型 多任务学习

恒源云(GpuShare)_表序编码器的联合实体和关系提取(论文浅谈)

恒源云

自然语言处理 机器学习 深度学习

如何使用一个有安全性问题的隐私计算技术?

易观分析

隐私计算

计算资源分配不公引发内斗!LLaMA核心作者流失大半,Meta AI联合主管也已离职_生成式 AI_凌敏_InfoQ精选文章