写点什么

字节启动 AGI 长期研究计划,代号 Seed Edge

  • 2025-01-26
    北京
  • 本文字数:1273 字

    阅读完需:约 4 分钟

大小:667.03K时长:03:47
字节启动AGI长期研究计划,代号Seed Edge

1 月 23 日,据媒体报道,字节豆包大模型团队已在内部组建 AGI 长期研究团队,代号“Seed Edge”,鼓励项目成员探索更长周期、具有不确定性和大胆的 AGI 研究课题。接近字节的知情人士透露,Seed Edge 的目标是探索 AGI 的新方法,代号名中 Seed 是豆包大模型团队名称,Edge 代表最前沿的 AGI 探索。Seed Edge 鼓励跨模态、跨团队合作,为项目成员提供宽松的研究环境,实行采用更长周期的考核方式,以保障挑战真正颠覆性的 AGI 课题。同时,Seed Edge 也将得到单独的算力资源保障。

 

根据披露,Seed Edge 初步确定了五大研究方向,包括探索推理能力的边界、探索感知能力的边界、探索软硬一体的下一代模型设计、探索下一代 AI 学习范式、探索下一个 scaling 方向。尽管业界不少团队在讨论是否应对 AI 预训练和基础研究继续投入,字节仍在以前所未有的战略决心加码大模型底层研究,包括提供充分的算力资源、广泛网罗顶尖研究人才,并打造长期主义的研究环境。

 

去年 5 月,为储备最具潜力的研究人才,豆包大模型团队启动了“Top Seed 人才计划”,以极具竞争力的待遇在全球招募顶尖博士毕业生加入。成立短短数月内,豆包大模型团队 57 篇论文中选 ICLR、CVPR、NeurIPS 等顶会,研究成果包括下载量超百万的开源工作及 GitHub 万星项目。同时,团队与近 20 所高校展开合作,包括与清华 AIR、北大分别成立 AI 方向联合实验室。

 

就在昨天,字节发布了豆包大模型 1.5Pro 版本,目前,Doubao-1.5-pro 已在豆包 APP 灰度上线,接受海量请求效果出色,同时,开发者也可在火山引擎直接调用 API 。

 

据介绍,豆包大模型 1.5Pro 在知识(MMLU_PRO、GPQA)、代码(McEval、FullStackBench)、推理(DROP)、中文(CMMLU、C-Eval)等多项公开测评基准上成绩全球领先。字节官方强调了新模型的以下特点:

 

  • 高效模型结构,超低成本

 

豆包大模型 1.5Pro 使用较小的激活参数进行预训练,训练成本极低,但性能不打折,采用大规模稀疏 MoE 架构,等效 7 倍激活参数的 Dense 模型性能,远超业内 MoE 架构约 3 倍杠杆的常规效率。

 

凭借字节自研服务器集群方案,灵活支持低成本芯片,硬件成本比行业方案大幅度降低。另外,字节自研网卡和网络协议,显著优化小包通讯效率,算子层计算与通信的高效交叠,保证了多机分布式推理的稳定和高效;通过精细量化和 PD 分离等方案,灵活使用算力和多任务混合调度,实现更高效算力利用。

 

  • 多模态能力全面提升

 

新版豆包视觉理解模型 Doubao-1.5-vision-pro,视觉理解能力全球领先。详见文末表格。

全新的豆包实时语音模型 Doubao-1.5-realtime-voice-pro,采用 Speech2Speech 端到端框架,表现力实现质的飞跃,真正做到会哭会笑、能说方言会唱歌。

 

  • 更强的深度思考能力

 

基于豆包 1.5 基座模型,通过 RL 算法的突破和工程优化,在未使用其他模型数据的情况下,研发豆包深度思考模型。阶段性进展 Doubao-1.5-Pro-AS1-Preview 在 AIME 上已取得了业内领先的成绩。详见文末表格。

 

  • 扎实不走“捷径”

 

所有模型训练过程中,未使用任何其他模型生成的数据。豆包大模型构建自主的数据生产体系,以标注团队与模型 self play 技术相结合,高效优化数据质量,提升数据标注多样性和难度,确保数据来源的独立性和可靠性。

 

2025-01-26 16:2519486

评论

发布
暂无评论

传帮带 人才梯队建设经验总结(13)

万里无云万里天

人才培养 工业 工厂运维

Amazon Generative AI Use Cases:“开箱即用的企业级生成式AI应用平台”

亚马逊云科技 (Amazon Web Services)

7个关键点了解YashanDB的最佳实施策略

数据库砖家

哈尔滨等保测评:测评后的持续安全管理

等保测评

为什么你的体育App总被卸载?可能不是你的错

ggscoreLynne

英特尔联动「扣子 AI 工坊」启动高校计划——让校园创意一键开挂

新消费日报

利用Next.js中间件漏洞实现SSRF攻击与RCE

qife122

SSRF 漏洞挖掘

Python 3.14发布:多解释器让性能飙升300%,GIL时代即将终结!

程序员晚枫

Python

指标混乱终结者:ChatBI怎样让全公司说同一种“数据语言”?

飞鲤

数据分析 ChatBI Data+AI

OPPO智慧服务吹起AI之风,移动开发拨云见日

脑极体

AI

谷歌推出全新语音搜索技术 S2R:跳过语音转文字,直接理解语音意图;代体 AI 推出端侧语音输入法丨日报

RTE开发者社区

7个实用技巧提高YashanDB数据库的安全性

数据库砖家

工业管理 团队建设经验总结(5)

万里无云万里天

团队建设 工业 工厂运维

手撕大模型 | MQA 和 GQA 原理解析

地平线开发者

自动驾驶; 算法工具链 地平线征程6

实测谷歌Veo 3.1视频模型!附零门槛免费使用攻略和提示词

阿星AI工作室

产品 AI 产品经理 大模型 AI视频

海外社交媒体监测工具全攻略:功能、价格与选型指南

沃观Wovision

社交媒体 沃观Wovision 舆情监测系统 海外舆情监测

7个方法优化YashanDB数据库的存储性能

数据库砖家

7个核心功能让你更好地使用YashanDB数据库

数据库砖家

重新定义网络安全职业:从"解决问题"的角度出发

qife122

网络安全 问题解决

鸿蒙应用开发从入门到实战(二十三):一文搞懂ArkUI弹性布局

程序员潘Sir

鸿蒙 HarmonyOS

大数据-126 - Flink一文搞懂有状态计算:State Backend 工作原理与性能差异详解 核心原理与作用

武子康

Java 大数据 flink spark 分布式

展览馆LED屏幕:让展示更有“光”

Dylan

视觉 LED LED display 展览 LED屏幕

哈尔滨等保测评:筑牢数字时代安全防线

等保测评

从0到1掌握京东API:商品详情获取技巧与避坑指南

Datafox(数据狐)

京东商品详情接口 京东商品数据采集 京东商品详情API 京东数据采集 京东商品数据分析

Python版本进化史:从3.6到3.14,每个版本都带来了什么惊喜?

程序员晚枫

Python

有哪些可离线使用的白板软件?6个主流的白板工具汇总

职场工具箱

人工智能 效率工具 在线白板 办公软件 AIGC

智源“透明心脏”:全自动3D心肌瘢痕重建,让三维诊断走进中国日常临床

智源研究院

人工智能 AI医疗

哈尔滨等保测评:常见问题与应对之道

等保测评

7个关键步骤让您充分利用YashanDB生态系统

数据库砖家

7个关键技巧提升YashanDB数据库的性能

数据库砖家

字节启动AGI长期研究计划,代号Seed Edge_AI&大模型_褚杏娟_InfoQ精选文章