写点什么

字节启动 AGI 长期研究计划,代号 Seed Edge

  • 2025-01-26
    北京
  • 本文字数:1273 字

    阅读完需:约 4 分钟

大小:667.03K时长:03:47
字节启动AGI长期研究计划,代号Seed Edge

1 月 23 日,据媒体报道,字节豆包大模型团队已在内部组建 AGI 长期研究团队,代号“Seed Edge”,鼓励项目成员探索更长周期、具有不确定性和大胆的 AGI 研究课题。接近字节的知情人士透露,Seed Edge 的目标是探索 AGI 的新方法,代号名中 Seed 是豆包大模型团队名称,Edge 代表最前沿的 AGI 探索。Seed Edge 鼓励跨模态、跨团队合作,为项目成员提供宽松的研究环境,实行采用更长周期的考核方式,以保障挑战真正颠覆性的 AGI 课题。同时,Seed Edge 也将得到单独的算力资源保障。

 

根据披露,Seed Edge 初步确定了五大研究方向,包括探索推理能力的边界、探索感知能力的边界、探索软硬一体的下一代模型设计、探索下一代 AI 学习范式、探索下一个 scaling 方向。尽管业界不少团队在讨论是否应对 AI 预训练和基础研究继续投入,字节仍在以前所未有的战略决心加码大模型底层研究,包括提供充分的算力资源、广泛网罗顶尖研究人才,并打造长期主义的研究环境。

 

去年 5 月,为储备最具潜力的研究人才,豆包大模型团队启动了“Top Seed 人才计划”,以极具竞争力的待遇在全球招募顶尖博士毕业生加入。成立短短数月内,豆包大模型团队 57 篇论文中选 ICLR、CVPR、NeurIPS 等顶会,研究成果包括下载量超百万的开源工作及 GitHub 万星项目。同时,团队与近 20 所高校展开合作,包括与清华 AIR、北大分别成立 AI 方向联合实验室。

 

就在昨天,字节发布了豆包大模型 1.5Pro 版本,目前,Doubao-1.5-pro 已在豆包 APP 灰度上线,接受海量请求效果出色,同时,开发者也可在火山引擎直接调用 API 。

 

据介绍,豆包大模型 1.5Pro 在知识(MMLU_PRO、GPQA)、代码(McEval、FullStackBench)、推理(DROP)、中文(CMMLU、C-Eval)等多项公开测评基准上成绩全球领先。字节官方强调了新模型的以下特点:

 

  • 高效模型结构,超低成本

 

豆包大模型 1.5Pro 使用较小的激活参数进行预训练,训练成本极低,但性能不打折,采用大规模稀疏 MoE 架构,等效 7 倍激活参数的 Dense 模型性能,远超业内 MoE 架构约 3 倍杠杆的常规效率。

 

凭借字节自研服务器集群方案,灵活支持低成本芯片,硬件成本比行业方案大幅度降低。另外,字节自研网卡和网络协议,显著优化小包通讯效率,算子层计算与通信的高效交叠,保证了多机分布式推理的稳定和高效;通过精细量化和 PD 分离等方案,灵活使用算力和多任务混合调度,实现更高效算力利用。

 

  • 多模态能力全面提升

 

新版豆包视觉理解模型 Doubao-1.5-vision-pro,视觉理解能力全球领先。详见文末表格。

全新的豆包实时语音模型 Doubao-1.5-realtime-voice-pro,采用 Speech2Speech 端到端框架,表现力实现质的飞跃,真正做到会哭会笑、能说方言会唱歌。

 

  • 更强的深度思考能力

 

基于豆包 1.5 基座模型,通过 RL 算法的突破和工程优化,在未使用其他模型数据的情况下,研发豆包深度思考模型。阶段性进展 Doubao-1.5-Pro-AS1-Preview 在 AIME 上已取得了业内领先的成绩。详见文末表格。

 

  • 扎实不走“捷径”

 

所有模型训练过程中,未使用任何其他模型生成的数据。豆包大模型构建自主的数据生产体系,以标注团队与模型 self play 技术相结合,高效优化数据质量,提升数据标注多样性和难度,确保数据来源的独立性和可靠性。

 

2025-01-26 16:2517260

评论

发布
暂无评论

如何使用 Authing 单点登录,集成 Discourse 论坛?

Authing

低代码 单点登录 Idaas 应用集成方案 Discourse

JavaScript数据类型

源字节1号

软件开发 前端开发 后端开发 小程序开发

Go 学习笔记——函数篇一

为自己带盐

Go 5月月更

一场会带来啥改变?三翼鸟引领行业进入有脑时代

脑极体

作业帮在线业务 Kubernetes Serverless 虚拟节点大规模应用实践

阿里巴巴云原生

阿里云 云原生 客户案例 作业帮 Kubernetes Serverless

队列同步器AQS

急需上岸的小谢

5月月更

干货 | Authing 产品总监佟野:Authing 的产品打磨之路

Authing

身份认证 用户思维 2B 产品 用户旅程 产品功能设计

架构实战营之毕业总结

IT屠狗辈

架构实战营

TiDB 6.0 新特性解读 | Collation 规则

TiDB 社区干货传送门

李东山——如何让OpenHarmony支持低功耗蓝牙芯片GR551x

OpenHarmony开发者

OpenHarmony 低功耗蓝牙芯片

一文,教你打造员工生命周期解决方案

Authing

单点登录 零信任 数据泄露 B2E 元气森林

ironSource 推出 Luna Views,通过定制化数据面板呈现多渠道广告效果

Geek_2d6073

未来以体验为中心的数字化战略前景 已经变得愈发明朗

易观分析

精细运营 渠道融合

人工智能超大规模预训练模型浅谈

百度Geek说

在虚拟机上搭建单机k8s环境

红莲疾风

GitHub 和 Gitee 开源免费 10 个超赞后台管理面板,看完惊呆了!

爱好编程进阶

Java 程序员 后端开发

TiDB Cloud GA,助力全球企业在云上构建新一代云原生应用

PingCAP

2021年Java春招高级面试指南(1到5年Java面试者必备)

爱好编程进阶

Java 程序员 后端开发

DDD领域驱动设计实战-分层架构及代码目录结构

爱好编程进阶

Java 程序员 后端开发

深度学习|AI芯片:上游产业率先爆发

Finovy Cloud

深度学习 gpu GPU服务器

集简云 x Authing,助力网校打通用户身份管理屏障

Authing

低代码 单点登录 业务流程优化 小鹅通

Electron 插件开发实践

网易云信

c++ Electron

直播预告丨OpenHarmony标准系统多媒体子系统之音频解读

OpenHarmony开发者

OpenHarmony 多媒体

BIO,NIO,AIO的区别

爱好编程进阶

Java 程序员

Hibernate多对多的关系映射,详解(代码

爱好编程进阶

Java 程序员 后端开发

重磅推荐-深度学习之ResNet家族

AIWeker

人工智能 深度学习 5月月更 resnet

uni-app技术分享| uni-app转小程序-实时消息

anyRTC开发者

小程序 uni-app 音视频 实时消息 呼叫邀请

2022年记一次慢查询优化指南,MySQL 优化学习第9天

梦想橡皮擦

5月月更

易仓跨境Saas全球租户,如何做到数据秒级响应?

阿里云大数据AI技术

数据库 flink SaaS

实力印证!青藤入选第一批“网络安全能力评价工作组”成员单位

青藤云安全

10个经典又容易被人疏忽的JVM面试题

爱好编程进阶

Java 程序员 后端开发

字节启动AGI长期研究计划,代号Seed Edge_AI&大模型_褚杏娟_InfoQ精选文章