写点什么

从原型到生产:AgentOps 加速字节 AI 应用落地实践|QCon 北京

  • 2025-03-21
    北京
  • 本文字数:1212 字

    阅读完需:约 4 分钟

从原型到生产:AgentOps 加速字节 AI 应用落地实践|QCon北京

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将在北京盛大召开。此次大会以 “智能融合,引领未来” 为主题,将汇聚各领域技术先锋与创新者,共同探讨行业发展新趋势。


字节跳动 AI 应用 DevOps 平台后端技术负责人杨晨已确认出席,并将发表题为《从原型到生产:AgentOps 加速字节 AI 应用落地实践》的主题分享。随着 LLM 的发展,越来越多的业务期望结合大模型能力构建其 AI 应用以智能化解决场景化问题。AI 应用的开发与传统工程开发存在众多开发范式的变革,AI 应用落地的过程中也存在诸多挑战。本次演讲将探讨字节内应对上述挑战的实践,讲述 AgentOps 平台如何助力业务高效开发迭代 AI 应用。



杨晨作为字节跳动 Dev Platform 部门技术专家,AI 应用 DevOps 平台后端技术负责人。持续关注 AI 应用开发者工具平台的前沿动态及创新,从 0-1 落地字节 AI 应用 DevOps 平台,对 AI 应用落地及效果调优有深入的理解与洞见。本次会议中,他的详细演讲内容如下:


演讲提纲

1. 大模型时代的应用开发范式变革

  • 微服务应用架构 VS AI 应用架构 

  • AI 应用开发范式

  • AI Agent 的演进

2. AI 应用开发中的问题与挑战

  • 基于大模型的应用开发迭代方式有何不同?如何高效开发?

  • 面对大模型的不确定性,如何高效评测 AI 应用以达到上生产要求?

  • 如何对大模型自主驱动的 Agent / 应用更好进行观测、运维?

  • 效果不及预期,如何进行推理结果的优化提升?

3. 字节 AgentOps 落地实践

  • 3.1 AgentOps 平台的整体架构

  • AI 应用开发的全生命周期

3.2 Prompt 开发:从设计、调优到应用

  • Prompt 调试优化工具与实践

  • Prompt 版本化管理与生产应用

3.3 效果评测:AI 应用的生存之道

  • 评测标准与流程的建立

  • 评测集与评估器

  • LLM-as-a-Judge

  • Code Evaluator

  • Human-in-the-loop

  • 业务实践

  • 基于 Golden Set 的效果准出评测

  • 基于线上数据回流的在线评测

3.4 可观测:洞察 AI 应用的全链路

  • Tracing 数据的采集与消费

  • 开箱即用的会话聚合与指标分析

  • 业务实践

  • 可观测在 Coze 和豆包上的实践

3.5 数据飞轮:AI 应用效果提升的闭环

3.6 落地情况与经验总结

  • 在字节内场的落地情况

  • 实践难点与经验总结

4. 未来展望

  • AI 应用开发者的核心诉求

  • Agent 元年对 AgentOps 平台的机会与挑战


您认为,这样的技术在实践过程中有哪些痛点?

  • AI 应用开发的范式不断创新与变革,如何寻求 AgentOps 的最佳实践


演讲亮点

  • 字节跳动 AgentOps 的全流程实践

  • AI 应用效果评测、问题定位、效果迭代优化的一手经验


听众收益

  • 深入理解 AI 应用开发过程中会遇到的问题及解法

  • AI 应用落地及效果调优的实践经验及最新认知


除此之外,本次大会还策划了多模态大模型及应用AI 驱动的工程生产力面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


现在报名即可以享受 9 折优惠,单张门票立省 680 元,详情可扫码或联系票务经理 18514549229 咨询。


2025-03-21 12:086183

评论

发布
暂无评论

新一代湖仓集存储,多模型统一架构,高效挖掘数据价值

星环科技

精细管理,智慧决策:商品企划系统如何提升鞋服品牌运营效率?

第七在线

低代码与国产化部署:软件开发的未来趋势与应用实践

不在线第一只蜗牛

低代码 软件咖啡 国产化部署

利用ChatGPT提升工作效率的技巧与方法

霍格沃兹测试开发学社

Python 教学平台,支持“多班教学”的课程授课方式|ModelWhale 版本更新

ModelWhale

Python 人工智能 大数据 数据分析 云课堂

OpenAI员工自曝996作息表,网友:真正的卷不需要强迫

Openlab_cosmoplat

白话大模型① :AI分析能做什么?在实际落地中会碰到什么问题?

星环科技

白话大模型② | 如何提升AI分析的准确性?

星环科技

关于Python中math 和 decimal 模块的解析与实践

不在线第一只蜗牛

Python 开发语言 模块开发

软件测试学习笔记丨docker 搭建常用服务器与平台命令

测试人

Docker 软件测试 自动化测试 测试开发

浙江丽水,正在用AI诊癌

Openlab_cosmoplat

创新永不止步,织信低代码平台继续加速前进!

优秀

低代码 低代码平台

Apache Calcite 一条 SQL 的查询计划生成之旅【上】

LakeShen

开源 sql 优化器 apache 社区 Apche Calcite

AIGC下一步:如何用AI再度重构或优化媒体处理?

阿里云CloudImagine

云计算 视频云 AIGC

关于 yarn 的中央仓库 registry.yarnpkg.com

伤感汤姆布利柏

Docker Exec 命令详解与实践指南

霍格沃兹测试开发学社

软件测试学习笔记丨MQ - Message Queue消息队列和kafka基本使用

测试人

软件测试 自动化测试 测试开发

谷歌最强开源大模型亮相!Gemini技术下放,笔记本就能跑,可商用

Openlab_cosmoplat

英特尔发布全新边缘平台,充分满足企业AI部署需求

E科讯

白话大模型③ | 我们为何需要机器学习运营平台?

星环科技

AI PPT软件有哪些?这5款堪称神器,职场白领必备!

彭宏豪95

职场 PPT 在线白板 办公软件 AIGC

量化交易策略炒币系统开发

薇電13242772558

量化交易

深入了解数据库:分类、作用与特点

霍格沃兹测试开发学社

SQL 创建数据库语句详解与实践指南

霍格沃兹测试开发学社

OPPO打响AI手机第一枪

Openlab_cosmoplat

英特尔Sachin Katti揭示边缘平台增强AI功能之道

E科讯

从原型到生产:AgentOps 加速字节 AI 应用落地实践|QCon北京_字节跳动_QCon全球软件开发大会_InfoQ精选文章