写点什么

字节启动 AGI 长期研究计划,代号 Seed Edge

  • 2025-01-26
    北京
  • 本文字数:1273 字

    阅读完需:约 4 分钟

大小:667.03K时长:03:47
字节启动AGI长期研究计划,代号Seed Edge

1 月 23 日,据媒体报道,字节豆包大模型团队已在内部组建 AGI 长期研究团队,代号“Seed Edge”,鼓励项目成员探索更长周期、具有不确定性和大胆的 AGI 研究课题。接近字节的知情人士透露,Seed Edge 的目标是探索 AGI 的新方法,代号名中 Seed 是豆包大模型团队名称,Edge 代表最前沿的 AGI 探索。Seed Edge 鼓励跨模态、跨团队合作,为项目成员提供宽松的研究环境,实行采用更长周期的考核方式,以保障挑战真正颠覆性的 AGI 课题。同时,Seed Edge 也将得到单独的算力资源保障。

 

根据披露,Seed Edge 初步确定了五大研究方向,包括探索推理能力的边界、探索感知能力的边界、探索软硬一体的下一代模型设计、探索下一代 AI 学习范式、探索下一个 scaling 方向。尽管业界不少团队在讨论是否应对 AI 预训练和基础研究继续投入,字节仍在以前所未有的战略决心加码大模型底层研究,包括提供充分的算力资源、广泛网罗顶尖研究人才,并打造长期主义的研究环境。

 

去年 5 月,为储备最具潜力的研究人才,豆包大模型团队启动了“Top Seed 人才计划”,以极具竞争力的待遇在全球招募顶尖博士毕业生加入。成立短短数月内,豆包大模型团队 57 篇论文中选 ICLR、CVPR、NeurIPS 等顶会,研究成果包括下载量超百万的开源工作及 GitHub 万星项目。同时,团队与近 20 所高校展开合作,包括与清华 AIR、北大分别成立 AI 方向联合实验室。

 

就在昨天,字节发布了豆包大模型 1.5Pro 版本,目前,Doubao-1.5-pro 已在豆包 APP 灰度上线,接受海量请求效果出色,同时,开发者也可在火山引擎直接调用 API 。

 

据介绍,豆包大模型 1.5Pro 在知识(MMLU_PRO、GPQA)、代码(McEval、FullStackBench)、推理(DROP)、中文(CMMLU、C-Eval)等多项公开测评基准上成绩全球领先。字节官方强调了新模型的以下特点:

 

  • 高效模型结构,超低成本

 

豆包大模型 1.5Pro 使用较小的激活参数进行预训练,训练成本极低,但性能不打折,采用大规模稀疏 MoE 架构,等效 7 倍激活参数的 Dense 模型性能,远超业内 MoE 架构约 3 倍杠杆的常规效率。

 

凭借字节自研服务器集群方案,灵活支持低成本芯片,硬件成本比行业方案大幅度降低。另外,字节自研网卡和网络协议,显著优化小包通讯效率,算子层计算与通信的高效交叠,保证了多机分布式推理的稳定和高效;通过精细量化和 PD 分离等方案,灵活使用算力和多任务混合调度,实现更高效算力利用。

 

  • 多模态能力全面提升

 

新版豆包视觉理解模型 Doubao-1.5-vision-pro,视觉理解能力全球领先。详见文末表格。

全新的豆包实时语音模型 Doubao-1.5-realtime-voice-pro,采用 Speech2Speech 端到端框架,表现力实现质的飞跃,真正做到会哭会笑、能说方言会唱歌。

 

  • 更强的深度思考能力

 

基于豆包 1.5 基座模型,通过 RL 算法的突破和工程优化,在未使用其他模型数据的情况下,研发豆包深度思考模型。阶段性进展 Doubao-1.5-Pro-AS1-Preview 在 AIME 上已取得了业内领先的成绩。详见文末表格。

 

  • 扎实不走“捷径”

 

所有模型训练过程中,未使用任何其他模型生成的数据。豆包大模型构建自主的数据生产体系,以标注团队与模型 self play 技术相结合,高效优化数据质量,提升数据标注多样性和难度,确保数据来源的独立性和可靠性。

 

2025-01-26 16:2519218

评论

发布
暂无评论

2022年中国互联网母婴行业年度分析

易观分析

母婴产品

手把手教你如何高效落地单项目管理 | 一看既会

阿里云云效

云计算 阿里云 项目管理 敏捷开发 单项目管理

达人专栏 | 还不会用 Apache Dolphinscheduler?大佬用时一个月写出的最全入门教程【三】

白鲸开源

Apache 大数据 开源 DolphinScheduler workflow

7 款最棒的 React 移动端 UI 组件库 - 特别针对国内使用场景推荐

蒋川

UI 前端框架 React 移动端 组件库

云启资本宣布加入 OpenCloudOS 操作系统社区,将自身在开源领域近十年的经验贡献社区

TencentOS

AIRIOT物联网低代码平台如何配置Modbus RTU协议?

AIRIOT

驱动配置

关于2022年12代C/C++Linux服务器开发高级架构师课程体系分析

C++后台开发

后端开发 Linux服务器开发 C++后台开发 Linux后台开发 服务器开发架构师

上证数据可视化分析展示-数据分析学习笔记-2

清林情报分析师

数据分析 学习笔记 数据处理 证券 上市公司

为什么要上云,您的团队适合上云吗?Atlassian白皮书给你答案

龙智—DevSecOps解决方案

Atlassian atlassian云版

敏捷团队教练工作坊 (Coaching Agile Teams) | 6月11日

ShineScrum

敏捷 教练 敏捷教练 cat 高管教练

编写实用有效的产品帮助文档,提升客户满意度

小炮

帮助文档

中兴通讯宣布加入OpenCloudOS操作系统社区,为自主操作系统做出重要贡献

TencentOS

市场份额不断提升,百度智能云稳居金融云解决方案市场第一阵营

百度开发者中心

面试题:关于HDFS,你的沉淀是什么?

Joseph295

千万奖金的首届昇腾AI创新大赛来了,OpenI启智社区提供开发环境和全部算力

OpenI启智社区

人工智能 昇腾AI大赛

全国超市区域分布分析-数据分析学习笔记-1

清林情报分析师

数据分析 学习笔记 数据处理 数据可视化 知识图谱

中科曙光加入OpenCloudOS操作系统社区,携手共建应用生态体系

TencentOS

密码学系列之:使用openssl创建私有CA

程序那些事

密码学 程序那些事 5月月更

如何提高团队的工作效率?

ShineScrum

Scrum 敏捷 团队效率

Jira工时管理插件线上安装量过百,龙智产品赢得全球企业信赖

龙智—DevSecOps解决方案

Jira插件 龙智 龙智自研插件

一文了解游戏美术开发流程,以及可能遇到的问题

龙智—DevSecOps解决方案

perforce Helix Core Helix DAM

《银行保险机构消费者权益保护管理办法》,如何影响行业与个人?

易观分析

金融消费

云原生架构及演进

云智慧AIOps社区

云原生 k8s 构架

IP归属地火了,IP地址黑灰产浮出水面 要如何预防?

郑州埃文科技

网络安全 IP地址 网络灰黑产

卷入上海疫情,被封40天,我的一点心得

大数据梦想家

程序员 程序人生 疫情防控

如何 DIY 一款属于自己的【3D 重力感应 动态壁纸 】,看完这篇文章你也可以学会

呆呆敲代码的小Y

android Unity 壁纸 动态壁纸

OpenCloudOS 云原生演进之路

TencentOS

物联网时代,如何保障嵌入式系统安全?

龙智—DevSecOps解决方案

klocwork perforce Helix QAC

百度吴甜提出大模型落地关键路径 业内首发行业大模型

百度开发者中心

英特尔宣布加入OpenCloudOS操作系统社区

TencentOS

勇往直前,做全能开发者,华为伙伴暨开发者大会2022精彩活动正式解锁!

华为云开发者联盟

云计算 量子计算

字节启动AGI长期研究计划,代号Seed Edge_AI&大模型_褚杏娟_InfoQ精选文章