写点什么

字节启动 AGI 长期研究计划,代号 Seed Edge

  • 2025-01-26
    北京
  • 本文字数:1273 字

    阅读完需:约 4 分钟

大小:667.03K时长:03:47
字节启动AGI长期研究计划,代号Seed Edge

1 月 23 日,据媒体报道,字节豆包大模型团队已在内部组建 AGI 长期研究团队,代号“Seed Edge”,鼓励项目成员探索更长周期、具有不确定性和大胆的 AGI 研究课题。接近字节的知情人士透露,Seed Edge 的目标是探索 AGI 的新方法,代号名中 Seed 是豆包大模型团队名称,Edge 代表最前沿的 AGI 探索。Seed Edge 鼓励跨模态、跨团队合作,为项目成员提供宽松的研究环境,实行采用更长周期的考核方式,以保障挑战真正颠覆性的 AGI 课题。同时,Seed Edge 也将得到单独的算力资源保障。

 

根据披露,Seed Edge 初步确定了五大研究方向,包括探索推理能力的边界、探索感知能力的边界、探索软硬一体的下一代模型设计、探索下一代 AI 学习范式、探索下一个 scaling 方向。尽管业界不少团队在讨论是否应对 AI 预训练和基础研究继续投入,字节仍在以前所未有的战略决心加码大模型底层研究,包括提供充分的算力资源、广泛网罗顶尖研究人才,并打造长期主义的研究环境。

 

去年 5 月,为储备最具潜力的研究人才,豆包大模型团队启动了“Top Seed 人才计划”,以极具竞争力的待遇在全球招募顶尖博士毕业生加入。成立短短数月内,豆包大模型团队 57 篇论文中选 ICLR、CVPR、NeurIPS 等顶会,研究成果包括下载量超百万的开源工作及 GitHub 万星项目。同时,团队与近 20 所高校展开合作,包括与清华 AIR、北大分别成立 AI 方向联合实验室。

 

就在昨天,字节发布了豆包大模型 1.5Pro 版本,目前,Doubao-1.5-pro 已在豆包 APP 灰度上线,接受海量请求效果出色,同时,开发者也可在火山引擎直接调用 API 。

 

据介绍,豆包大模型 1.5Pro 在知识(MMLU_PRO、GPQA)、代码(McEval、FullStackBench)、推理(DROP)、中文(CMMLU、C-Eval)等多项公开测评基准上成绩全球领先。字节官方强调了新模型的以下特点:

 

  • 高效模型结构,超低成本

 

豆包大模型 1.5Pro 使用较小的激活参数进行预训练,训练成本极低,但性能不打折,采用大规模稀疏 MoE 架构,等效 7 倍激活参数的 Dense 模型性能,远超业内 MoE 架构约 3 倍杠杆的常规效率。

 

凭借字节自研服务器集群方案,灵活支持低成本芯片,硬件成本比行业方案大幅度降低。另外,字节自研网卡和网络协议,显著优化小包通讯效率,算子层计算与通信的高效交叠,保证了多机分布式推理的稳定和高效;通过精细量化和 PD 分离等方案,灵活使用算力和多任务混合调度,实现更高效算力利用。

 

  • 多模态能力全面提升

 

新版豆包视觉理解模型 Doubao-1.5-vision-pro,视觉理解能力全球领先。详见文末表格。

全新的豆包实时语音模型 Doubao-1.5-realtime-voice-pro,采用 Speech2Speech 端到端框架,表现力实现质的飞跃,真正做到会哭会笑、能说方言会唱歌。

 

  • 更强的深度思考能力

 

基于豆包 1.5 基座模型,通过 RL 算法的突破和工程优化,在未使用其他模型数据的情况下,研发豆包深度思考模型。阶段性进展 Doubao-1.5-Pro-AS1-Preview 在 AIME 上已取得了业内领先的成绩。详见文末表格。

 

  • 扎实不走“捷径”

 

所有模型训练过程中,未使用任何其他模型生成的数据。豆包大模型构建自主的数据生产体系,以标注团队与模型 self play 技术相结合,高效优化数据质量,提升数据标注多样性和难度,确保数据来源的独立性和可靠性。

 

2025-01-26 16:2519198

评论

发布
暂无评论

注意-跳槽必看啊!2020BATJZ大厂面筋集合!(建议收藏),android开发网上购物app

android 程序员 移动开发

满足你各种姿势的最美Android开源日历,android音频

android 程序员 移动开发

月薪20+的Android面试都问些什么?,android实战开发记账本app视频

android 程序员 移动开发

某 Android 大牛 “凡尔赛”,Android-Camera内存问题剖析

android 程序员 移动开发

泛型使用到原理,2020-2021阿里巴巴安卓面试真题解析

android 程序员 移动开发

深入分析ConstraintLayout的原理及应用场景,万字总结

android 程序员 移动开发

滴滴DoKit Android核心原理揭秘之函数耗时,app架构图怎么做

android 程序员 移动开发

滴滴国际化项目 Android 端演进,一个小例子彻底搞懂Android的MVP模式到底是什么

android 程序员 移动开发

来自程序员的感叹:我怎么就没有阿里,腾讯,安卓内存监控悬浮窗

android 程序员 移动开发

深入理解AsyncTask的工作原理,成为阿里P7Android架构师到底有多难

android 程序员 移动开发

深入解析Android-Studio中Gradle依赖,flutter扫描二维码

android 程序员 移动开发

渣本安卓客户端Android秋招总结(重排了字号),android项目实战手机安全卫士

android 程序员 移动开发

深度探索 Gradle 自动化构建技术(四、自定义 Gradle 插件

android 程序员 移动开发

渣渣二本的辛酸面试之路:从深圳到杭州,从外包到蚂蚁金服

android 程序员 移动开发

浅谈ConcurrentHashMap,2021大厂Android面试题精选

android 程序员 移动开发

深入并发原理和大厂面试(二),kotlin协程的理解

android 程序员 移动开发

深入浅出Android性能调优【全面深入易理解】,来一份全面的面试宝典练练手

android 程序员 移动开发

深入解析Android的StateListDrawable,项目实战

android 程序员 移动开发

深入探索 Android 网络优化(三、网络优化篇,flutter页面跳转卡

android 程序员 移动开发

深入理解Flutter动画原理,一个月成功收割腾讯、阿里、字节offer

android 程序员 移动开发

来自Android菜鸟的思考:普通公司的程序员技术跟大厂的差距在哪?怎样才能达到大厂技术水平

android 程序员 移动开发

没想到位图算法在Android RecyclerView中还可以这样应用!

android 程序员 移动开发

没有对象怎么面向对象编程呢?真让人头秃!,android音视频编解码

android 程序员 移动开发

浅谈Android热更新的前因后果 _ Android ,Android面试基础知识

android 程序员 移动开发

最新-Android-面试点梳理,我收藏了你呢?,事件分发机制怎么回答

android 程序员 移动开发

深入探索编译插桩技术(四、ASM 探秘,二本学渣考研失败

android 程序员 移动开发

深入理解 Activty 加载速度优化,android开发实战-记账本清风紫雪

android 程序员 移动开发

浅谈-Android-Handler,h5移动端开发面试题

android 程序员 移动开发

深入学习-Gradle-自动化构建技术(六)Gradle-插件平台化框架-ByteX-探秘之旅

android 程序员 移动开发

深度认识单例模式;在Android源码中的应用,华为Android面试真题解析

android 程序员 移动开发

渣本转岗,从Java到Android,这一年我经历了太多太多,移动开发者大会

android 程序员 移动开发

字节启动AGI长期研究计划,代号Seed Edge_AI&大模型_褚杏娟_InfoQ精选文章