AI 时代实验平台演进之路，从 A/B 测试到智能决策闭环｜AICon 上海

5 月 23 日-24 日，AICon 全球人工智能开发与应用大会上海站即将拉开帷幕。本次大会将聚焦 AI 技术的前沿突破与产业落地，围绕 AI Agent、多模态应用、大模型架构创新、推理性能优化、大模型驱动数据创新、AI 产品创新与出海策略等核心议题，呈现技术与应用融合的最新趋势。

字节跳动 A/B 测试技术负责人韩云飞已确认出席 AICon 上海并将在AI for Data，数据管理与价值挖掘实践专题发表题为《AI 时代实验平台演进之路，从 A/B 测试到智能决策闭环》的主题分享。字节跳动 A/B 测试平台（内部名称 Libra，对外产品 DataTester）是全球领先的 A/B 测试与智能优化平台，累计支持超 340W 次实验，同时运行 7W+实验，覆盖抖音、今日头条等数百业务。平台脱胎于字节跳动 2012 年引入的 A/B 测试体系，2016 年实现产品化，2021 年通过火山引擎开放给企业客户，融合了科学分流、智能分析、多场景特型实验等能力，成为驱动业务增长的核心基础设施。在 AI 时代，平台正从“功能策略验证工具”向“企业创新加速引擎”升级，探索推理模型+数据+工程的自动化决策范式。

韩云飞作为字节跳动 A/B 测试技术负责人，负责字节跳动通用实验平台，致力于打造业界最科学好用的实验平台，把 A/B 测试变成驱动业务创新的新基建。从 0 到 1 参与搭建了字节跳动内 A/B 测试与智能优化平台 Libra，服务于抖音、番茄小说、今日头条等数百个业务；对外发布火山引擎 A/B 测试 DataTester 等产品。他在本次会议的详细演讲内容如下：

演讲提纲：

1. 传统 A/B 测试的挑战与 AI 的颠覆性机会

• 传统 A/B 测试的“天花板”

• 人工设计依赖经验，实验效率低（如多变量组合爆炸问题）

• 样本偏差与统计显著性陷阱（尤其在小流量场景）

• 长反馈周期无法匹配业务实时决策需求

• AI 的颠覆性价值

• 从“假设驱动”到“智能驱动”：AI 自动生成实验假设和设计、自主分析结果

• 从“串行分工”到“智能协同”：面向 PM、DA、RD 等实验 Role 的 AI Team 协同

• 从“结果验证”到“决策生成”：模拟海量用户在线实验效果提前敏捷决策

2. 字节跳动 A/B 测试平台的进化路径

• 第一阶段：规模化实验基础设施

• 超大规模和复杂场景实验引擎

• 科学高效的实验科学分析引擎

• 第二阶段：AI 增强的智能实验

• 超参数优化：基于历史数据的贝叶斯优化，自动优化参数组合

• 流量智能调优：基于多臂老虎机，在实验运行中动态调整流量

• 因果推断增强：通过异质人群挖掘，自动下钻出实验影响维度

• 第三阶段：决策智能体生态

• 智能实验设计：通过自然语言交互定义实验假设和设计

• 智能实验分析：分析智能体助力日常实验分析与写报告

• 海量用户模拟：基于 AI 的预实验模拟，规避策略冲突与业务风险

3. 未来展望：A/B 测试的终极形态

• 个性化实验设计：未来的 A/B 测试将从"一刀切"的分组进化为针对不同用户精准设计的个性化实验，大幅提高实验效率和精度

• 因果推断的突破：AI 系统将帮助企业从相关性分析迈向更深层次的因果推断，从"发现现象"升级为"理解原因"，为决策提供更深刻的洞察

• 闭环决策系统：A/B 测试将从独立工具演变为完整的决策闭环系统，整合假设生成、实验设计、结果分析和自动执行，实现决策过程的高度自动化，进化为企业创新操作系统

听众收益：

• 战略视角：理解 AI 如何将 A/B 测试从“辅助工具”升级为“决策核心”，重塑企业竞争力

• 技术前瞻：掌握 A/B 测试与生成式 AI、因果推断等新技术融合最新技术路径

• 实践洞察：借鉴字节跳动亿级用户场景的实战经验，规避规模化实验的典型陷阱

除此之外，本次大会还策划了AI Agent 构建及多元应用、多模态大模型创新实践、AI for Data，数据管理与价值挖掘实践、大模型推理性能优化策略、AI 产品设计的创新思维、智能硬件与大模型的融合探索、金融领域大模型应用实践、大模型助力业务提效实践等专题，届时将有来自不同行业、不同领域、不同企业的 60+资深专家在 AICon 上海站现场带来前沿技术洞察和一线实践经验。

现在报名即可以享受 9 折优惠，单张门票立省 580 元，详情可扫码或联系票务经理 13269078023 咨询。