AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

如何利用在线实验提升算法工程效率

  • 2019-08-27
  • 本文字数:992 字

    阅读完需:约 3 分钟

如何利用在线实验提升算法工程效率

稳定压倒一切,如何在阿里巴巴的钱袋子做高频线上实验?A/B Testing 是算法模型进行在线实验的经典方法。Google 于 2010 年发表了分层正交实验论文,各大公司依此思想建立了分层实验平台,可以对流量多层正交,互不影响,从而最大化提升实验效率。 随着大规模机器学习技术的发展,高度复杂的深度模型被广泛使用,在线实验参数的变更,在后台会涉及复杂分布式系统数据切换,在线服务上线等一系列操作,会面临相当多问题,严重影响迭代效率。 阿里妈妈作为国内最大的商业广告提供商,高度依赖在线实验。在投放系统的各个阶段,如检索召回、排序、竞价,涉及系统上下游多个模块,同时迭代模型版本近百个,每日实验发布近百次。而在线学习等新技术使用,使模型变更更加高频化。错误实验会对系统造成急性或慢性损害,如分布式系统宕机,营收缓慢下跌,从而引发严重金融故障。 为了在金融系统做好在线实验,平衡效率与安全,我们研发了在线实验平台 WhaleShark,运用多种技术为业务提供最大帮助。目前已承载阿里妈妈所有场景广告,覆盖搜索直通车、超级推荐、品牌等多个业务场景,赋能用户进行模型、数据、配置、应用等多维高频变更。阿里巴巴高级技术专家向杭即将在 QCon 全球软件开发大会(上海站)2019分享《如何利用在线实验提升算法工程效率

内容大纲

  1. 阿里妈妈业务与架构;

  2. 在线实验平台的挑战、产品与架构 ;

  3. 新一代分层实验机制,包括独立分区,联合实验,混竞路由 ;

  4. 容器化隔离,动态路由,环境自动构建;

  5. 模型特征交付与自动验证;

  6. 监控与自动容灾;

  7. 全链路数仓。

听众受益

  1. 如何利用在线实验提升算法系统迭代效率;

  2. 新一代分层实验机制,如何流量复用最大化支持搜索广告场景;

  3. 如何利用容器化隔离、动态路由、环境一键构建、灰度发布、模型交付等技术提升效率与稳定性;

  4. 深度模型与特征的自动质量方案;

  5. 如何进行实验级实时监控与容灾;

  6. 如何信息化建设,关联利用算法各阶段数据,赋能业务演进。


嘉宾介绍


向杭,花名刑志,高级技术专家,2013 年加入阿里巴巴。现任阿里妈妈事业部工程生产力团队负责人。方向包括大规模算法与数据系统质量保证、实验效率提升、算法分析平台构建等。致力于运用技术手段,提升 AI 系统质量、监控、调试与分析能力,从而提升工业级算法迭代效率。带领团队在 SIGIR、KDD 发表多篇论文,涉及 CTR 预估模型可视化,大规模稀疏数据异常检测等多领域。


更多以云为始的工程效率实战的相关分享请访问 QCon 上海 2019 官网。


2019-08-27 16:224521

评论

发布
暂无评论
发现更多内容

凡架构必拆分,分则有度

菜根老谭

微服务 康威定律 架构思维 分治思维

MySQL库表设计小技巧

Simon

MySQL 数据库设计

tomcat 使用apr

zack

tomcat

「架构师训练营」第 7 周作业 - 总结

森林

什么?不写代码也能做功能开发!- RUOYI教程

Java_若依框架教程

Java 技术 后端 开发 框架

智能标注原理揭秘,一文读懂人工智能如何解决标注难题

百度大脑

人工智能 百度 学习 AI 百度大脑

企业架构框架之DoDAF

冯文辉

企业架构

计算机网络基础(七)---网络层-ICMP协议

书旅

计算机网络 网络协议 网络层

数据库周刊33丨5大国产数据库中标中国移动;Oracle7月CPU安全预警;腾讯Tbase新版本发布;“2020数据技术嘉年华”有奖话题遴选;阿里云技术面试题;APEX 实现数据库自动巡检;MYSQL OCP题库……

墨天轮

MySQL 数据库 oracle 阿里云 面试

有趣的“第二个系统”

架构精进之路

提升认知 研发体系

「架构师训练营」第 7周作业 - 性能测试

森林

金融科技的碎片化思考(上)

曲水流觞TechRill

金融科技 FinTech

Flink 最佳搭档:开发部署平台 Zeppelin 的自白

Apache Flink

报告|50%CRM品牌陷入竞争旋涡,破圈迫在眉睫

人称T客

波士顿动力狗 SPOT 权威购买指北

早睡蟒

Python 人工智能 学习 波士顿动力 机械狗

Flask 的 url 处理器

Leetao

Python flask Web框架

压测脚本

LEAF

k8s极简史:K8s多集群技术发展的历史、现状与未来

华为云开发者联盟

Kubernetes 容器 云原生 华为云

Oracle JDK7 bug 发现、分析与解决实战

vivo互联网技术

itchat替代品,追妹子神器,个人微信给多个好友(群)发消息,定时提醒妹子喝水

Java_若依框架教程

技术 后端 itchat 微信消息 定时提醒

架构师第七周总结

傻傻的帅

架构师

最新:英特尔断供浪潮系内部供应链调整,现已恢复供货

Geek_116789

Newbe.Claptrap 框架入门,第二步 —— 简单业务,清空购物车

newbe36524

容器 微服务 Reactive .net core ASP.NET Core

Flink 1.11 Unaligned Checkpoint 解析

Apache Flink

flink

Java 面向对象知识整理

多选参数

Java 编程

存储性能加速引擎之预读

焱融科技

Linux sds 焱融科技 分布式存储 预读

来自前端童鞋对后端的吐槽@#$%^

Java小咖秀

程序员 程序人生 大前端

实操案例:字符串哈希表操作

华为云开发者联盟

程序员 编程语言 C语言 哈希表 字符串

网传Intel断供浪潮,英特尔:供应链调整

Geek_116789

一口气说出 4 种分布式一致性 Session 实现方式,面试杠杠的~

楼下小黑哥

nginx redis 分布式 session

架构师都该懂的 CAP 定理

闻人

架构 分布式 架构师

如何利用在线实验提升算法工程效率_QCon_向杭_InfoQ精选文章