写点什么

百度智能流量监控实战

2019 年 9 月 14 日

百度智能流量监控实战

ArchSummit深圳2018大会上,王博讲师做了《百度智能流量监控实战》主题演讲,主要内容如下。


演讲简介


百度智能监控平台是在百度内部最广泛使用的监控平台,目前已覆盖如流量、响应时间、可用性、资源使用等大多数指标的智能监控,本次演讲将选取一个最典型的场景,重点介绍如何做智能流量监控。


流量监控历来都是监控的难点,从原始数据的采集、聚合计算,到智能的异常检测和高时效性的精准报警,都给监控平台、运维和研发工程师带来了巨大挑战。本次演讲我们将重点讨论百度在流量监控场景中遇到的各类挑战,并介绍基于此我们研发的百度智能流量监控模型,该模型可以自动训练并准确地预测流量情况,使用上下文无关的参数/阈值来进行自动异常检测。最后,在展示百度智能流量监控实际案例效果的同时,我们会开放一个试用的站点,欢迎大家申请试用。


演讲提纲:


  1. 百度智能监控平台介绍

  2. 流量监控场景与难点

  3. 流量异常检测模型

  4. 异常检测模型

  5. 基于鲁棒回归的预测算法

  6. 基于概率分布的检测算法

  7. 实验效果

  8. 标注与评估方法

  9. 实验效果

  10. 试用介绍


听众受益点:


  1. 百度智能监控平台

  2. 流量监控场景与难点

  3. 流量异常检测模型


讲师介绍


王博


百度云 资深软件研发工程师


王博 2014 年加入百度,先后参与异常检测系统、报警收敛、故障诊断等相关工作。目前是异常检测系统的技术负责人。本次演讲希望能给大家分享百度在流量异常检测等场景下的相关经验,与大家共同探讨提高。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019 年 9 月 14 日 16:43468

评论

发布
暂无评论
  • 第二周 - 框架设计

    框架设计

    2020 年 9 月 21 日

  • 智浪

    奔涌吧 智浪 我们在同一条奔涌的河流 和数百万的AI从业者一起 实现智能 拥抱未来

    2020 年 5 月 13 日

  • 机器学习算法评估指标——2D 目标跟踪

    在2D目标跟踪任务中,我们需要从精度、鲁棒性、运行速度等方面对算法进行综合评估。首先介绍单目标跟踪(SOT)算法的常用评估指标;其次介绍多目标跟踪(MOT)算法的常用评估指标。

    2020 年 6 月 4 日

  • 打造通用 MIS 平台,彻底释放前后端人力

    本次分享介绍百度 AMIS 通用平台系统。

  • 浅析 Golang 垃圾回收机制

    介绍 Golang 的垃圾回收机制

  • 架构师训练营 第二周 学习总结

    面向对象设计原则也被称为 SOLID 原则 , 根据 维基百科 对 SOLID 的介绍, 它最初由 Robert C.Martin 于 2000 年的 论文 中提出。

    2020 年 6 月 17 日

  • AI 大数据时代电商攻防:AI 对抗 AI

    演讲嘉宾 苏志刚,京东安全硅谷研究中心负责人。 内容介绍 AI大数据时代京东和其它电子商务平台面对的新风险和新问题:如何用AI技术和系统化的安全方式来对抗内外部威胁,成为当今京东安全研究人员所面临的一个重要问题。 主要分析AI大数据时代安全与传统安全的不同,以及目前基于电子商务平台以AI的攻防对抗。

    2018 年 9 月 12 日

  • 携程是如何在测试时做精准流量筛选的

    本文将从比对平台如何和流量筛选结合以及手动流量筛选,自动流量筛选,用例智能推荐的方面,分享精准流量筛选,希望能给遇到同样问题的小伙伴带来一些启发和借鉴。

  • 翻译质量自动评估在电商机器翻译中的应用

    演讲嘉宾陈博兴,阿里巴巴达摩院 资深算法专家内容介绍电商领域的翻译对质量要求很高,需要提供“准合同”级的翻译结果,尤其是一些关键信息必须翻译完全正确。而机器翻译的结果还不够完美,除了从模型上采取多种策略进行改进外,我们还需要对翻译结果在输出前进行质量评估和控制。为了应对海量的翻译质量评估需求,我们开发了机器翻译质量自动评估模型,并且提出了一种全新的基于双向自注意力机制的自动评估算法,大幅度提高了自动评估与人工评估的Pearson相关系数,并且创新性地应用于我们实际电商翻译场景,从多个维度提高电商领域机器翻译的可靠性。内容大纲 电商领域机器翻译的应用与挑战; 多种策略改进电商翻译质量; 翻译质量的评测与评估; 翻译质量的人工评估标准; 翻译质量的自动评估方法; 翻译质量自动评估在电商机器翻译中的应用。

    2019 年 1 月 7 日

  • 孤狼王兴 | 互联网大佬往事

    实现了“千亿美元梦想”的王兴,不会止步于追逐更大的梦想。这是个性使然,创业15年来,他多次创业,失败者九,成功者一,便是创办美团。不轻易认输,是王兴成功的不二法门,这是一篇关于王兴个人成长及创业经历的文章,希望对你认识王兴和美团有所帮助。

  • 阿里妈妈广告排序算法创新之旅

    演讲嘉宾毕业于北京邮电大学,现就职于阿里巴巴精准定向广告团队,从事个性化广告排序方向相关的工作,包括 CTR 预估、CVR 预估、用户建模、商品建模、新型广告投放等场景下的算法研究和系统升级,近期研发的兴趣演化模型在定向广告上取得显著提升,带来了巨大的商业价值。曾在网易有道从事算法研究的相关工作,主导研究和开发了有道翻译的第一代神经网络机器翻译模型,该模型应用于有道词典和有道翻译官,翻译质量取得了阶段性飞跃。内容介绍阿里妈妈拥有全球最大的电商广告平台,且拥有淘系丰富的用户行为数据,如何从数据中建模出用户真正的兴趣模式,从而精准的进行合适的广告推荐,对广告主、平台、用户均具有重大意义。尤其是在展示广告领域,准确地捕捉用户兴趣对点击率预估模型的性能至关重要。在这样的背景下,我们在优化点击率预估模型的过程中对用户兴趣建模做出了多年的努力。本次分享阿里妈妈精准定向广告的算法升级话题,详细介绍如何一步一步做到让用户开心的点击广告!也会详细介绍我们最新的工作——兴趣演化模型 DIEN,DIEN 通过巧妙的设计了兴趣提取模块和兴趣演化模块,从用户每一次具体历史行为背后挖掘其当时潜藏的隐层兴趣,并根据不同的预估广告目标,建模与当前广告相关的兴趣从远至近的演化趋势,从而准确地捕捉到用户此刻的兴趣。通过 A/B Test 该模型在猜你喜欢单品广告场景带来了20+%的 CTR 增长以及17+%的 RPM 增长,并在双十一期间全量服务,带来了可观的商业价值。

    2019 年 7 月 26 日

  • 智能问答算法原理及实践之路

    演讲嘉宾陈松坚,腾讯 数据平台部高级算法研究员内容介绍智能问答是近年来NLP应用的热门方向,本次分享主要从问答技术的原理出发,介绍不同应用场景下的各种形态的问答机器人的实现原理,如基于检索和语义匹配技术的单轮问答机器人,基于对话管理的任务型机器人,基于阅读理解技术的阅读理解机器人等。另外,也会分享腾讯小知团队在将以上技术转化落地的实践路径和经验。内容大纲 了解智能问答相关的各种算法原理; 了解工业级To B问答产品的系统架构和实战经验。

    2019 年 1 月 7 日

  • 入职两周,怀疑自己进了假百度!跟传说中完全不一样!难道真有两家百度公司?

    有个新入职的百度员工怀疑自己进了假百度,因为他天天加班到半夜,和外面传说的“百度不加班”根本不一样,才干了两个礼拜,他已经开始怀疑人生了。

    2020 年 8 月 10 日

  • ARTS 打卡第 4 周

    Algorithm 一道算法题;

    2020 年 7 月 26 日

  • FreeWheel 实时计算平台建设

    本次分享介绍FreeWheel实时计算平台的建设经验。

  • Week3- 面向对象的设计模式(作业二)

    总结:设计模式介绍,并讲解了重要的几给设计模式,并举例设计模式在常用框架的应用情况。

    2020 年 11 月 8 日

  • k8s 上运行我们的 springboot 服务之——flume 同步数据到到 clickHouse

    clickHouse的简单介绍,详细介绍请查看官网或者百度

    2020 年 7 月 2 日

  • 打造案例(上):如何做优质客户案例的选型和内容构造?

    这一节课从案例的选型开始,手把手教你如何搭建案例底料。

    2020 年 9 月 4 日

  • 应⽤:检测 SKU 抠图与分类标注流程

    2020 年 7 月 16 日

发现更多内容

自定义 SpringBootStarter

lee

分享一份阿里架构师 651 多个技术分支的脑图

奈学教育

大数据

Kafka的生产者优秀架构设计

奈学教育

kafka 分布式

计算机超全核心技术知识

cxuan

后端 计算机基础

JDK 15 都发布了,可 Java 8 依然是最爱

古时的风筝

Java Java 25 周年 Java版本

【译文】为什么说Rust是机器人技术的未来

袁承兴

rust 机器人 嵌入式

读懂才会用 : 带你见识 Redis 的 zset

小眼睛聊技术

redis 学习 程序员 架构 redis6.0.0

我的个人知识管理方法

lidaobing

个人成长 知识管理 PKM

分布式事务 - 三种常见的解决方案

Java收录阁

分布式事务

2020年6月3日 对象与类

瑞克与莫迪

N皇后问题之位运算解法

孙苏勇

算法 DFS 位运算

除了公关,我还能为公司做点什么?(系列1)

邓瑞恒Ryan

学习 个人成长 自我管理 成长 职业成长

Mobaxterm (安装 、汉化、使用)入门教程

Geek_Offset

如何更好的交谈(以英语为例)

七镜花园-董一凡

学习 生活

科学提升认知方法之贝叶斯公式

奈学教育

贝叶斯公式

大话设计模式 | 0 面向对象基础

Puran

C# 设计模式

JUC整理笔记五之梳理Varhandle(下)

JFound

Java

GitHub上10个不可错过的另类有趣项目

码农神说

GitHub 程序员人生 开源项目

愚蠢写作术(2):怎么让你的文章变得冷冰冰

史方远

学习 个人成长 写作

CSS Tricks网站创始人作序推荐,这本书助你成为Web开发高手

图灵社区

CSS Web 开发 设计思维

JAVA后端学习路线

敖丙

Java 学习 程序员 Java25周年

女朋友跟我吐槽Java中ArrayList遍历时删除元素的各种姿势

NotFound9

Java 架构 面试 编程语言 后端

一文让你快速上手 Mockito 单元测试框架

mghio

Java spring 单元测试 Mockito

Sula - 可能是西湖区最好用的antd配置框架

开远

前端开发 antd sula 配置化开发 前端框架

ArrayList浅析

章小传

Java collection 原理 ArrayList

中台上线半年,我总结出了“七宗罪”

夜来妖

中台 企业中台 后台开发 业务中台 后台

OFD版式技术解析系列(一):开篇

华宇法律科技

一周信创舆情观察(5.25~5.31)

统小信uos

基础软件 操作系统 新基建

SpringCloud-OpenFeign源码

云淡风轻

Spring Cloud

架构师必备的ToB产品交付之双轮驱动思维模型

常平

产品 极客大学架构师训练营

路径依赖 - 偶然决策导致的依赖。

石云升

思维模型 路径依赖 网络效应 沉没成本 价值网依赖

InfoQ 极客传媒开发者生态共创计划线上发布会

InfoQ 极客传媒开发者生态共创计划线上发布会

百度智能流量监控实战-InfoQ