10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

从原型到生产:AgentOps 加速字节 AI 应用落地实践|QCon 北京

  • 2025-03-21
    北京
  • 本文字数:1212 字

    阅读完需:约 4 分钟

从原型到生产:AgentOps 加速字节 AI 应用落地实践|QCon北京

2025 年 4 月 10 - 12 日,QCon 全球软件开发大会将在北京盛大召开。此次大会以 “智能融合,引领未来” 为主题,将汇聚各领域技术先锋与创新者,共同探讨行业发展新趋势。


字节跳动 AI 应用 DevOps 平台后端技术负责人杨晨已确认出席,并将发表题为《从原型到生产:AgentOps 加速字节 AI 应用落地实践》的主题分享。随着 LLM 的发展,越来越多的业务期望结合大模型能力构建其 AI 应用以智能化解决场景化问题。AI 应用的开发与传统工程开发存在众多开发范式的变革,AI 应用落地的过程中也存在诸多挑战。本次演讲将探讨字节内应对上述挑战的实践,讲述 AgentOps 平台如何助力业务高效开发迭代 AI 应用。



杨晨作为字节跳动 Dev Platform 部门技术专家,AI 应用 DevOps 平台后端技术负责人。持续关注 AI 应用开发者工具平台的前沿动态及创新,从 0-1 落地字节 AI 应用 DevOps 平台,对 AI 应用落地及效果调优有深入的理解与洞见。本次会议中,他的详细演讲内容如下:


演讲提纲

1. 大模型时代的应用开发范式变革

  • 微服务应用架构 VS AI 应用架构 

  • AI 应用开发范式

  • AI Agent 的演进

2. AI 应用开发中的问题与挑战

  • 基于大模型的应用开发迭代方式有何不同?如何高效开发?

  • 面对大模型的不确定性,如何高效评测 AI 应用以达到上生产要求?

  • 如何对大模型自主驱动的 Agent / 应用更好进行观测、运维?

  • 效果不及预期,如何进行推理结果的优化提升?

3. 字节 AgentOps 落地实践

  • 3.1 AgentOps 平台的整体架构

  • AI 应用开发的全生命周期

3.2 Prompt 开发:从设计、调优到应用

  • Prompt 调试优化工具与实践

  • Prompt 版本化管理与生产应用

3.3 效果评测:AI 应用的生存之道

  • 评测标准与流程的建立

  • 评测集与评估器

  • LLM-as-a-Judge

  • Code Evaluator

  • Human-in-the-loop

  • 业务实践

  • 基于 Golden Set 的效果准出评测

  • 基于线上数据回流的在线评测

3.4 可观测:洞察 AI 应用的全链路

  • Tracing 数据的采集与消费

  • 开箱即用的会话聚合与指标分析

  • 业务实践

  • 可观测在 Coze 和豆包上的实践

3.5 数据飞轮:AI 应用效果提升的闭环

3.6 落地情况与经验总结

  • 在字节内场的落地情况

  • 实践难点与经验总结

4. 未来展望

  • AI 应用开发者的核心诉求

  • Agent 元年对 AgentOps 平台的机会与挑战


您认为,这样的技术在实践过程中有哪些痛点?

  • AI 应用开发的范式不断创新与变革,如何寻求 AgentOps 的最佳实践


演讲亮点

  • 字节跳动 AgentOps 的全流程实践

  • AI 应用效果评测、问题定位、效果迭代优化的一手经验


听众收益

  • 深入理解 AI 应用开发过程中会遇到的问题及解法

  • AI 应用落地及效果调优的实践经验及最新认知


除此之外,本次大会还策划了多模态大模型及应用AI 驱动的工程生产力面向 AI 的研发基础设施不被 AI 取代的工程师大模型赋能 AIOps云成本优化Lakehouse 架构演进越挫越勇的大前端等专题,届时将有来自不同行业、不同领域、不同企业的 100+资深专家在 QCon 北京现场带来前沿技术洞察和一线实践经验。


现在报名即可以享受 9 折优惠,单张门票立省 680 元,详情可扫码或联系票务经理 18514549229 咨询。


2025-03-21 12:086677

评论

发布
暂无评论

自助设备系列——上下游

孙苏勇

产品 行业资讯 智能设备

听保洁老大爷讲Java的垃圾回收

侯树成

JVM

嵌套文件夹复制实现

Howe

Java 文件复制

C语言数据类型

C语言技术网-码农有道

分析Kubernetes技术体系的层级,慎用比较前沿的技术

韩超

面对压力的战略和战术

山楂大卷

管理 精神力 逻辑思维 压力 工作思路

freecplus框架,Linux平台下C/C++程序员提高开发效率的利器

C语言技术网-码农有道

Flutter Andorid真机或打包APK杂症记录

北风烈

flutter 打包APK

Kafka系列第5篇:一文读懂消费者背后的那点"猫腻"

z小赵

大数据 kafak 实时计算

给程序员的错误找个台阶

曲水流觞TechRill

docker安装mysql5.7并挂载目录到本地

桥哥技术之路

Docker

NumPy 运算规则总结

张利东

Python

Grafana+Prometheus(InfluxDB)+Jmeter使用Nginx代理搭建可视化性能测试监控平台

软测小生

Grafana Prometheus Influxdb Jmeter 性能测试

我的编程之路-2(首秀)

顿晓

方法 沟通 新项目

ELK 日志收集简易教程

meng

elasticsearch Logstash Kibana ELK Filebeat

使用JUnit、AssertJ和Mockito编写单元测试和实践TDD (二)为什么要写单元测试

编程道与术

编程 编程语言 TDD 代码审查 单元测试

高仿瑞幸小程序 03 创建轮播图

曾伟@喵先森

小程序 微信小程序 大前端 移动

打造个人商业模式第一步

一尘观世界

副业赚钱 提升认知 思维方式 商业模式 认识自己

快来体验 JetBrains Space EAP 版本

刘培培

DevOps JetBrains Space

2020年程序猿必读10本好书推荐

ABC实验室

学习 2020 程序员 好书推荐

我的工作原则与思考

梁帅

互联网 工作效率 原则

从全国首起暗网案件告破说起——暗网,超乎你想象

石君

网络安全 暗网 洋葱网络

5G来临,我们该如何打造自己的家庭数据中心基础篇

ABC实验室

5G 数字资产 家庭数据中心

告别手写,一键生成 Helm Chart README

郭旭东

Kubernetes Helm

当我们说文本编辑器时,到底在说什么

付济

写作平台 InfoQ markdown

最新Idea 2020.1 二种方法激活教程

公众号:V5codings

intellij-idea

有没有什么上古的程序代码至今依然没被更替?

极客时间

编程 程序员 开发

C语言程序的基本结构

C语言技术网-码农有道

C/C++

我在极客时间学习的三个月

石乐

VSCode最强助攻

页面仔小杨

编程 vscode

游戏开发通用技术和工具

波波

编程 游戏开发 H5游戏

从原型到生产:AgentOps 加速字节 AI 应用落地实践|QCon北京_字节跳动_QCon全球软件开发大会_InfoQ精选文章