写点什么

计算资源分配不公引发内斗!LLaMA 核心作者流失大半,Meta AI 联合主管也已离职

  • 2023-09-07
    北京
  • 本文字数:2215 字

    阅读完需:约 7 分钟

大小:1.13M时长:06:35
计算资源分配不公引发内斗!LLaMA核心作者流失大半,Meta AI联合主管也已离职

计算资源上的内斗,导致 Meta AI 研究部门四分五裂。

 

随着 OpenAI 及其他科技巨头在 AI 领域取得突破,Meta 也正忙于发布自己的大语言模型,希望在这一新兴领域占得立足之地。日前,Meta 发布了大模型 LLaMALLaMA 2,作为 OpenAI 和 Anthropic 私有模型的开源替代,LLaMA 和 LLaMA 2 在市场上备受好评。但对大部分参与该项目的科学家和工程师来说,称赞来得太迟了。

 

作为一家由社交媒体巨头转向元宇宙技术研发的大厂,Meta 旗下的 AI 研究实验室 Fundamental AI Research (FAIR) 正面临内部危机。

Meta 公司因争抢计算资源发生内斗

 

据 The Information 近日报道,消息人士表示,Meta 参与 LLaMA 项目的人员大半都已辞职,原因是与公司另一个研究团队在计算资源上的内斗。此外,另一个与 LLaMA 相竞争的模型已被 Meta 放弃。

 

据悉,2022 年,来自美国的一支 FAIR 团队发布了 OPT-175B,这是一套拥有 1750 亿参数的模型。与此同时,常驻巴黎的另一支 FAIR 队伍则着手开发体量较小的 LLaMA 模型,并坚信其效率能够与更大模型相媲美。

 

但与 OPT 团队相比,巴黎团队所能获得的算力资源严重不足。随着运营体系内的分配纠纷不断升级,Meta 内部的紧张局势也是愈演愈烈。

 

2023 年 2 月,随着 FAIR 正式发布 LLaMA,矛盾和压力也终于逼近临界点。

 

此前一周,Meta AI 的联合主管兼巴黎分部负责人 Antoine Bordes 以工作过度和为了配合加州工作时间而筋疲力尽为由选择辞职。他的退出加剧了 Meta 美国和巴黎两支队伍间的分歧,最终闹到了势同水火的地步。为此,Meta 只得放弃了 OPT 模型,并要求双方团队的成员在 LLaMA 2 项目上共同合作。

 

公众对于 Meta 发布的 LLaMA 和 LLaMA 2 均表示赞赏,称它们为 OpenAI 和 Anthropic 的最先进模型提供了免费的开源替代方案。然而,市场上的一片好评并没能平息 FAIR 之内部分研究人员和工程师们的不满,其中不少人已经申请退出 Meta。

有限的计算资源该怎么分?

 

在生成式 AI 的训练过程中,需要使用大量的计算资源,Meta 这类科技巨头虽然比其它公司拥有更多的计算资源,但也是有限制的。

 

在部分员工看来,Meta 内部今日的紧张局面,早在 FAIR 确立开放 AI 研究的使命时就已埋下了祸根。世界各地的 FAIR 实验室争相开发各种项目,从改善磁共振成像到解析自然语言等。而在 ChatGPT 横空出世之后,新的难题更是压在每个 FAIR 人头上:如何在有限的资源下,将现有 AI 功能整合起来?

 

FAIR 部门负责人 Joelle Pineau 在接受 The Information 采访时坦言,Meta 内部的计算资源分配每月都需要由来自企业多个部门的领导班子重新议定

 

她承认,LLaMA 和其他团队在资源的具体分配上表现得“有点关系紧张”。Pineau 还强调,高层领导应当在各竞争项目间分配有限资源时努力权衡,尽量在保证顶尖人才的充分参与之外为各个研究方向提供充足的资源供应,而这显然并非易事。

 

Pineau 称,“我自己的大部分工作时间都花在了挽留和吸引优秀人才上,毕竟没有了这些出色的参与者,我什么都做不了。”

 

当然,爆发计算资源争夺的绝不只有 Meta 一家。随着生成式 AI 开发变得越来越复杂、资源密集度愈盛,不少科技巨头也开始感受到专用芯片不足、可调度资源有限的窘境。这个现实问题令 AI 研究人员的留存工作变得更加复杂。

大厂的 AI 人才痛:招人难,留人更难

 

今年以来,Meta 的 AI 人才流失严重。知情人士称,2 月发表的 LLaMA 论文的 14 名作者中,一半以上已经离开 Meta 司,其中几位加入了 AI 创业公司或其它大公司。这种外流不仅仅是人才上的损失,更是整个 AI 行业在局势持续紧张、资源限制日益加剧的现实之下表现出的自然态势。

 

Meta 内部的结构性变化更是令复杂现实雪上加霜。去年 11 月,Meta 宣布裁减约 13% 的员工,即 11000 个工作岗位,这是其历史上规模最大的一轮裁员。今年 2 月,Meta 成立了一支新团队,专注于为自家应用开发生成式 AI 技术。此举从已经捉襟见肘的研究人员队伍中又抽调走了几名生力军。

 

目前,Meta 公司仍在寻求理想结构、希望保持正常研发。想要保住这份竞争力,团队自身的敏捷运营和团队间的通力协作将至关重要。AI 人才之争在短时间内尚无平息的迹象, 而 Meta 只有想办法成功留存并吸引到研究人员,其作为技术大厂的资源优势才能真正转化为市场领先地位。

 

不只 Meta,谷歌近几年也流失了不少 AI 人才,Transformer 的八位作者甚至全部离开了谷歌。OpenAI 的日子也不好过,据量子比特统计,OpenAI 的 51 位研究人员中,有 16 位人才离开了 OpenAI,离职率高达三分之一;根据 AMiner 的统计,OpenAI 的 ChatGPT R&D 团队已经有 4 人离职。

 

留人难,招人也并不轻松。AI 大模型热潮使得 AI 人才成为各大公司的争抢对象,供需关系紧张。拉勾招聘发布的《2023 第一季度 AIGC 人才供需报告》显示,在 AI 抢人大战中,AIGC 人才岗位需求量在今年 3 月环比增加 42%。

 

美国知名求职网站 Indeed 数据显示,近几个月来,合乎 AI 要求的招聘职位急剧上升,尤其是中高级的 AI 人才供不应求,招聘薪资也不断攀升。另一家知名求职网站 Adzuna 数据也显示,6 月份美国有 760 万个空缺职位,而与 AI 相关的职位空缺已经上升至 169045 个,其中有 3575 个职位特别标注需要有 AIGC 的技能。

 

参考链接:

https://www.theinformation.com/articles/inside-metas-ai-drama-internal-feuds-over-compute-power

https://www.reddit.com/r/LocalLLaMA/comments/16b18tj/inside_metas_ai_drama_internal_feuds_over_compute/

2023-09-07 14:026442

评论

发布
暂无评论
发现更多内容

顶象发布《车企App安全研究白皮书》,剖析车企App两大风险

说山水

Java面试卷到家了?分享经典Java万字笔记,查漏补缺,备战面试

Java java面试 Java八股文 Java面试题 Java面试八股文

进阶篇丨链路追踪(Tracing)很简单:链路成本指南

阿里巴巴云原生

阿里云 云原生 链路追踪

选择优质的led透明屏的7个步骤

Dylan

产品、 LED显示屏 售后服务

【JavaScript】手写Promise

不叫猫先生

JavaScript Promise 6 月 优质更文活动

AntDB数据库入选艾媒金榜《2023年中国信创数据库企业TOP15》,位列前三

亚信AntDB数据库

AntDB 数据库· AntDB数据库 企业号 6 月 PK 榜

Github127k点赞!堪称最强 Java面试指南!已跳槽字节涨15K

Java java面试 Java八股文 Java面试题 Java面试八股文

跨平台开发工具 kbone 实操经验分享

Onegun

小程序 跨平台 前端框架 kbone

测试左移右移,到底是什么?

老张

测试右移 测试左移

山东淄博市具有资质的等保测评机构有几家?咨询电话多少?

行云管家

等保 等级测评 淄博

面试官:什么时候 MySQL 查询会变慢?

Java MySQL 数据库

线程池性能提升之道:核心线程数选择与定制实战

Java 多线程 线程池

【体验有奖】玩转 AIGC,函数计算 x 通义千问预体验,一键部署 AI 应用赢 Airpods

阿里巴巴云原生

阿里云 云原生 AIGC

漫画告诉你什么是生成式AI(一)

FN0

AIGC

Vue项目中实现ElementUI按需引入

不叫猫先生

Vue Element UI 按需加载 6 月 优质更文活动

【Netty】「NIO」(二)阻塞模式与非阻塞模式

sidiot

Java 后端 Netty 6 月 优质更文活动

人工智能创新挑战赛:海洋气象预测Baseline[4]完整版(TensorFlow、torch版本)含数据转化、模型构建、MLP、TCNN+RNN、LSTM模型训练以及预测

汀丶人工智能

人工智能 数据挖掘 深度学习 LSTM 6 月 优质更文活动

慢 SQL 优化之索引的作用是什么? | 京东云技术团队

京东科技开发者

MySQL 数据库 innodb 慢SQL 企业号 6 月 PK 榜

jvm中类和对象定义存储基础知识 | 京东云技术团队

京东科技开发者

Java JVM 虚拟机 企业号 6 月 PK 榜 对象定义存储

漫画告诉你什么是生成式 AI(二)

FN0

AIGC

BH1750 传感器实战教学 —— 驱动移植篇

矜辰所致

传感器 I2C 6 月 优质更文活动

立即报名 | Microservices June 微服务之月再度开启

NGINX开源社区

nginx 微服务

【Netty】「NIO」(三)剖析 Selector

sidiot

Java 后端 Netty 6 月 优质更文活动

“古老”编程语言的最新选择!华为云发布CodeArts IDE for C/C++

华为云开发者联盟

云计算 后端 华为云 华为云开发者联盟 企业号 6 月 PK 榜

【堡垒机】北京堡垒机品牌哪家好?优势有哪些?

行云管家

堡垒机 IT运维 北京

Flink实例:处理IoT事件流

TiAmo

IoT Flink实例 事件流 6 月 优质更文活动

如何从抓包文件中分析慢请求

蓝胖子的编程梦

Wireshark tcpdump 抓包 网络抓包 抓包分析

深度学习应用篇-计算机视觉-图像分类[2]:LeNet、AlexNet、VGG、GoogleNet、DarkNet模型结构、实现、模型特点详细介绍

汀丶人工智能

人工智能 深度学习 计算机视觉 图像分类 6 月 优质更文活动

vue2.x,vue3.x使用provide/inject注入区别

不叫猫先生

Vue 6 月 优质更文活动

软件测试/测试开发丨学习笔记Allure2添加用例标题、用例步骤

测试人

程序员 软件测试 测试开发 测试报告 Allure

前端AST详解,手写babel插件

不叫猫先生

6 月 优质更文活动

计算资源分配不公引发内斗!LLaMA核心作者流失大半,Meta AI联合主管也已离职_生成式 AI_凌敏_InfoQ精选文章