写点什么

从原型到生产:AgentOps 加速字节 AI 应用落地实践|QCon 北京

  • 2025-03-21
    北京
  • 本文字数:1212 字

    阅读完需:约 4 分钟

从原型到生产:AgentOps 加速字节 AI 应用落地实践|QCon北京

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将在北京盛大召开。此次大会以 “智能融合,引领未来” 为主题,将汇聚各领域技术先锋与创新者,共同探讨行业发展新趋势。


字节跳动 AI 应用 DevOps 平台后端技术负责人杨晨已确认出席,并将发表题为《从原型到生产:AgentOps 加速字节 AI 应用落地实践》的主题分享。随着 LLM 的发展,越来越多的业务期望结合大模型能力构建其 AI 应用以智能化解决场景化问题。AI 应用的开发与传统工程开发存在众多开发范式的变革,AI 应用落地的过程中也存在诸多挑战。本次演讲将探讨字节内应对上述挑战的实践,讲述 AgentOps 平台如何助力业务高效开发迭代 AI 应用。



杨晨作为字节跳动 Dev Platform 部门技术专家,AI 应用 DevOps 平台后端技术负责人。持续关注 AI 应用开发者工具平台的前沿动态及创新,从 0-1 落地字节 AI 应用 DevOps 平台,对 AI 应用落地及效果调优有深入的理解与洞见。本次会议中,他的详细演讲内容如下:


演讲提纲

1. 大模型时代的应用开发范式变革

  • 微服务应用架构 VS AI 应用架构 

  • AI 应用开发范式

  • AI Agent 的演进

2. AI 应用开发中的问题与挑战

  • 基于大模型的应用开发迭代方式有何不同?如何高效开发?

  • 面对大模型的不确定性,如何高效评测 AI 应用以达到上生产要求?

  • 如何对大模型自主驱动的 Agent / 应用更好进行观测、运维?

  • 效果不及预期,如何进行推理结果的优化提升?

3. 字节 AgentOps 落地实践

  • 3.1 AgentOps 平台的整体架构

  • AI 应用开发的全生命周期

3.2 Prompt 开发:从设计、调优到应用

  • Prompt 调试优化工具与实践

  • Prompt 版本化管理与生产应用

3.3 效果评测:AI 应用的生存之道

  • 评测标准与流程的建立

  • 评测集与评估器

  • LLM-as-a-Judge

  • Code Evaluator

  • Human-in-the-loop

  • 业务实践

  • 基于 Golden Set 的效果准出评测

  • 基于线上数据回流的在线评测

3.4 可观测:洞察 AI 应用的全链路

  • Tracing 数据的采集与消费

  • 开箱即用的会话聚合与指标分析

  • 业务实践

  • 可观测在 Coze 和豆包上的实践

3.5 数据飞轮:AI 应用效果提升的闭环

3.6 落地情况与经验总结

  • 在字节内场的落地情况

  • 实践难点与经验总结

4. 未来展望

  • AI 应用开发者的核心诉求

  • Agent 元年对 AgentOps 平台的机会与挑战


您认为,这样的技术在实践过程中有哪些痛点?

  • AI 应用开发的范式不断创新与变革,如何寻求 AgentOps 的最佳实践


演讲亮点

  • 字节跳动 AgentOps 的全流程实践

  • AI 应用效果评测、问题定位、效果迭代优化的一手经验


听众收益

  • 深入理解 AI 应用开发过程中会遇到的问题及解法

  • AI 应用落地及效果调优的实践经验及最新认知


除此之外,本次大会还策划了多模态大模型及应用AI 驱动的工程生产力面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


现在报名即可以享受 9 折优惠,单张门票立省 680 元,详情可扫码或联系票务经理 18514549229 咨询。


2025-03-21 12:086238

评论

发布
暂无评论

Gbox开源:比RN和WebView更轻的高性能动态化业务容器,解决首页动态化的痛点

android 程序员 移动开发

移动端1px解决方案

CRMEB

如何实现高效运维?来谈谈性能优化那些事(含直播回顾 Q&A)

墨天轮

oracle 性能优化

Groovy脚本基础全攻略,重磅

android 程序员 移动开发

Handler源码分析之二 异步消息的处理,2021金三银四面试季

android 程序员 移动开发

FrameWork内核解析之PackageMS启动(一)下篇,android开发电子书

android 程序员 移动开发

Framework学习(十一)WindowManager体系,学习指南

android 程序员 移动开发

GitHub标星3,Android面试

android 程序员 移动开发

Flutter这么火为什么不了解一下呢?(上,这份333页关于性能优化知识点的PDF你不能不看

android 程序员 移动开发

Framework掌握不熟?字节跳动大牛带你系统化学习,小白以及计算机类学生的福音

android 程序员 移动开发

GitHub 上优质项目整理,推荐一个GitHub项目

android 程序员 移动开发

GitHub标星3(1),腾讯Android开发面试记录

android 程序员 移动开发

Git各指令的本质,真是通俗易懂啊,h5移动端开发进行定位

android 程序员 移动开发

模块二

侠客行

架构实战营 「架构实战营」

GDP大跳水,“溢价阶层,kotlinandroid开发教程

android 程序员 移动开发

Gson 解析 Json 容错才是关键,举几个常用的实例!,android开发视频百度网盘

android 程序员 移动开发

Fragment中调用startActivityForResult的那些坑,安卓面试题目2019

android 程序员 移动开发

Fresco实践总结,阿里P7大牛亲自教你

android 程序员 移动开发

GitHub标星9K的Google官方MVP+Rxjava项目详解,靠这份资料我从6K变成了40K

android 程序员 移动开发

Kubernetes + 焱融 SaaS 数据服务平台,个性化需求支持就没输过

焱融科技

云计算 分布式 高性能 公有云 文件存储

Flutter混合开发(二):iOS项目集成Flutter模块详细指南

android 程序员 移动开发

Fragment极度懒加载-+-Layout子线程预加载,奇妙的APP启动速度优化思路

android 程序员 移动开发

Framework学习(七)AMS家族,kotlin开发思维

android 程序员 移动开发

恒源云(GPUSHARE)_云GPU服务器如何使用Tmux?

恒源云

深度学习

Google禁止Android-11-自定义-Toast-了?,android开发实战数据

android 程序员 移动开发

Flutter集成高德定位和地图功能,精通android游戏开发pdf

android 程序员 移动开发

Framework学习(十)Content Provider启动过程,android快速开发

android 程序员 移动开发

GitHub标星3-5K+【Android校招面试指南,flutter中文本框的长度

android 程序员 移动开发

Flutter版 WanAndroid App,深入解析Android-AutoLayout

android 程序员 移动开发

Glide源码学习五:回调与监听,Android快速转战Kotlin教程

android 程序员 移动开发

Gradle多维度使用,h5开发移动端

android 程序员 移动开发

从原型到生产:AgentOps 加速字节 AI 应用落地实践|QCon北京_字节跳动_QCon全球软件开发大会_InfoQ精选文章