把握行业变革关键节点,12 月 19 日 - 20 日,AICon北京站即将重磅启幕! 了解详情
写点什么

百度文心 4.0 Turbo 来了!联合飞桨框架 3.0 推理性能跃升 30%,文心快码升级至 2.5 版

  • 2024-07-01
    北京
  • 本文字数:2719 字

    阅读完需:约 9 分钟

大小:1.41M时长:08:11
百度文心4.0 Turbo 来了!联合飞桨框架3.0推理性能跃升30%,文心快码升级至2.5版

作者 | 华卫

 

6 月 28 日,百度推出了文心大模型 4.0 Turbo,并公布一系列技术、产品、生态最新成果,包括新一代的飞桨框架 3.0、文心快码 2.5。

 

文心一言累计用户规模已达 3 亿,日调用次数也达到了 5 亿。”现场,百度首席技术官、深度学习技术及应用国家工程研究中心主任王海峰还披露了文心一言的最新数据。

 

王海峰认为,通用人工智能已经越来越近,而大模型技术为其带来了曙光:一是人工智能技术的通用性,大模型在面向不同任务、语言、模态、场景时的通用性越来越强;二是能力的全面性,人工智能的理解、生成、逻辑、记忆等四项基础能力越强,越接近通用人工智能。

 

文心 4.0 Turbo 开放

上下文窗口提升至 128k

 

大会现场,王海峰发布了文心大模型 4.0 Turbo,网页版、APP、API 陆续面向用户开放,开发者登录百度智能云千帆大模型平台即可使用文心大模型 4.0 Turbo API 服务。

 

据介绍,通过数据、基础模型、对齐技术、提示、知识增强、检索增强和对话增强等核心技术的持续创新以及飞桨文心的联合优化,文心大模型 4.0 Turbo 的速度更快、效果更好。

 

其在基础大模型的基础上,进一步创新智能体技术,包括理解、规划、反思和进化,能够做到可靠执行、自我进化,并一定程度上将思考过程白盒化,让机器像人一样思考和行动,能够调用工具自主完成复杂任务,在环境中持续学习实现自主进化。

 

王海峰表示,文心一言 4.0 Turbo 的上下文输入长度从 4.0 版的 2K tokens 升级到了 128K tokens,能够同时阅读 100 个文件或网址,AI 生图分辨率也从 512*512 提升至 1024*1024。

 

百度集团副总裁、深度学习技术及应用国家工程研究中心副主任吴甜表示,过去半年文心大模型取得了显著进展,用户日均提问量增加 78%,提问平均长度提升 89%。文心大模型为用户提供的帮助从简单需求延伸到更多元、复杂的任务。

 

截至目前,文心大模型已累计生成 70 亿行代码、创作 5.9 亿篇文章、编撰百万篇专业研报、解答了 1.7 亿学习问题,辅助 1.3 亿人次工作等。与此同时,文心大模型还支持了大量的应用创新。“在大模型应用落地过程中,选择合适的模型对应用效果至关重要。“吴甜介绍到。

 

具体能力表现上,文心轻量级模型适合解决确定场景的问题,同时具有成本更低、速度更快的优势;3.5 是一个强通用性模型,适用于日常信息处理和文本生成任务;4.0 规模更大、能力更强,具备更强的理解能力、逻辑推理能力与更丰富的知识,可以提供专业深度的帮助;4.0 工具版基于智能体技术,擅长综合运用多种工具和数据,按要求完成非常复杂的任务。

 

大会现场,百度还发布了与中国工程院朱有勇院士及团队共同打造的首个农业智能体“农民院士智能体”,以及和上海体育大学共同研发的国内首个面向体育行业的大模型上体体育大模型。

 

飞桨新一代框架 3.0

提升模型推理性能 30%

 

“文心一言的快速发展,包括整个文心大模型的快速发展,离不开飞桨平台的支撑。”王海峰表示。据介绍,文心大模型的持续快速进化,得益于百度在芯片、框架、模型和应用上的布局,尤其是飞桨深度学习平台和文心的联合优化,包括训练吞吐、分布式扩展、多模型结构混合并行和硬件通信层的联合优化。

 

现场,百度 AI 技术生态总经理马艳军主要详细解读了飞桨新一代框架 3.0 的设计理念和技术特点。“在 3.0 版本的设计中,我们充分考虑了目前大模型技术发展和异构多芯的趋势,并从三个方面做了综合考量,一是保障大模型训练和推理的性能,二是足够简化大模型本身的开发和调优过程,三是更好适配各种各样的芯片。”

 

据介绍,飞桨框架 3.0 面向大模型、异构多芯进行专属设计,向下适配异构多芯,向上一体化支撑大模型的训练、推理,同时具有动静统一自动并行、编译器自动优化、大模型训推一体、大模型多硬件适配四项能力。

 

其中,自动并行能力可以把代码开发做更好的封装,训推一体让训练与推理的能力相互复用,为大模型全流程提供统一的开发体验和极致的训练效率。而通过一系列的编译器自动优化过程,不管是对于语言模型还是扩散模型,整个推理性能都能提升到 30%。

 

飞桨框架 3.0 还为大模型硬件适配提供了功能完善、低成本的方案,建设了面向硬件厂商的代码合入、持续集成、模型回归测试等研发基础设施,为硬件适配提供了全套保障。马艳军表示,“在 3.0 版本中,硬件厂商只需要针对基础算子做适配,大幅减少了对应的开发工作量。”

 

此外,新一代框架也为文心大模型提供了压缩、推理、服务等支撑。在 AI for Science 领域,飞桨框架 3.0 为科学计算提供了高阶自动微分、编译优化、分布式训练能力支撑,还建设了面向通用数理问题求解的赛桨 PaddleScience 以及专注于生物计算的螺旋桨 PaddleHelix 工具包。飞桨框架 3.0 还原生支持复数技术体系,这对于如气象预报、汽车/飞行器气动分析等场景下的数据特征分析具有重要意义。

 

“文心快码” 升级至 2.5 版

代码采纳率达 46%


现场,百度副总裁陈洋宣布智能代码助手 Comate 的中文名为“文心快码”,并发布了最新升级的版本文心快码 2.5。据介绍,文心快码 2.5 在知识增强、企业研发全流程赋能、企业级安全等方面实现了能力提升。

 

在之前续写、解释代码、问答等能力的基础上,新版本可深度解读代码库、关联权威公域和私域知识生成新的代码,生成的代码更加安全,并且可以智能检测安全漏洞、一键修复漏洞,支持混合云部署等。


陈洋表示,文心快码的“快”主要体现在三大方面:开发速度快、业务迭代快、企业落地快,提供标准版、专业版、企业版、企业专有版 4 大版本。

 

目前,百度 80%的工程师已经在深度使用文心快码,其中代码采纳率已达到 46%,新增代码生成占比 29%,百度单位时间提交代码数量增加 35%、研发单周交付占比达到了 57%,整体研发提效 14%以上。

 

“原本需要 7 天才能完成的工程量,在 5 天就能够开发完成;百度内部一半以上的研发需求,可以在一周之内完成交付。”陈洋介绍,喜马拉雅一个季度落地文心快码的采纳率就可以达到了 44%。

 

与此同时,文心快码还已应用到包括上海三菱电梯、软通动力、吉利汽车、晶合集成电路和奈雪的茶等企业,覆盖金融、汽车、机械制造、软件服务等诸多领域。


结语

 

现场,百度文心大模型同甲骨文信息处理教育部重点实验室打造的“来自甲骨文的回答”互动程序也正式上线,通过调用文心一言的对话能力及对甲骨文文字的释义,古老的甲骨文“活起来”了。

 

同时,百度与国际爱护动物基金会联合发布“AI 守护官 2.0 版”,通过飞桨平台开发工具 PaddleX 定制打造的模型,提高了鉴别野生动物制品的准确度,缩短了耗费时间,用技术让野生动物保护更加高效。

 

如今,大模型为代表的人工智能正加速各行各业转型升级。正如王海峰所说,人工智能基于深度学习及大模型工程平台,包括算法、数据、模型、工具等,已经具备了非常强的通用性以及标准化、模块化和自动化的特征,进入到工业大生产阶段,通用人工智能将加速到来。

2024-07-01 09:225204

评论

发布
暂无评论
发现更多内容

熔断器+重试机制,微服务容错的终极武器?一线设计实战全解析!

我爱娃哈哈😍

第十八章 获得大量免费流量的核心:关键词

溪抱鱼

人工智能、

【信创小知识】信创产品是国产的吗?还是进口的?

行云管家

信创 信创国产化 信创化

基于跨话语重评分的包容性语音识别技术

qife122

语音识别 图神经网络

第十八章 获得大量免费流量的核心:关键词

溪抱鱼

SEO

ROT混淆技术入门指南

qife122

安全开发 编码混淆

决策树训练速度提升99%的新方法

qife122

机器学习 特征选择

TRAE + Milvus MCP,现在用自然语言就能搞定向量数据库部署了!

北京中暄互动广告传媒有限公司

看阿里云操作系统控制台如何一招擒拿网络丢包

阿里云基础软件

操作系统

Sentieon 项目文章 | 偏远社区原住民澳大利亚人的血型基因组图谱

INSVAST

基因数据分析 Sentieon 变异检测 基因变异检测 生信分析服务

小白也能做OS运维:阿里云操作系统控制台助你轻松解决三大运维难题

阿里云基础软件

操作系统 系统运维 智能运维 运维痛点

火山引擎 MCP 安全架构与实践

Lily

管家级教程:在 Windows 上配置 WSL2、CUDA 及 VLLM,开源音频克隆项目

溪抱鱼

人工智能 前端 语音

ModelArts Versatile -AI原生应用引擎,聚焦企业级Agent平台,最新核心能力一文速览

华为云开发者联盟

AI Compass趣味AI应用分享:Quin-AI塔罗占卜、FateTellAI命理分析、爱宠信箱宠物情绪陪伴应用

汀丶人工智能

哈尔滨工业大学教授苗东菁:AI Agent 与多模数据库

数新网络官方账号

扣子,正式拥抱开源!

Lily

如何结构化日志记录增强网络安全性?

运维有小邓

网络安全 日志分析 日志管理 日志审计

NineData 新增支持 AWS ElastiCache 复制链路

NineData

AWS 数据库迁移 NineData 无停机数据库迁移 ElastiCache

JetBrains TRAE 插件上线 cue 能力,立即体验

北京中暄互动广告传媒有限公司

重塑AI算力底座!阿里云服务器操作系统V4正式发布

阿里云基础软件

AI 操作系统 Alibaba Cloud Linux 阿里云服务器操作系统V4

Java SPI机制初探|得物技术

得物技术

Jav spi

Data Agent:超越 BI 与 AI 的边界

Lily

火山引擎 EIC 解析:构建以 KVCache 为中心的推理新基建

北京中暄互动广告传媒有限公司

《BOE解忧实验室》第四季重磅回归:以创新科技点亮中国地标

爱极客侠

等保服务定义以及流程详解-行云管家

行云管家

网络安全 等保 等保测评

数据治理平台如何选?深度解析国产化全栈方案与行业落地实践

百分点科技技术团队

百度文心4.0 Turbo 来了!联合飞桨框架3.0推理性能跃升30%,文心快码升级至2.5版_生成式 AI_华卫_InfoQ精选文章