限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

阿里 10PB+ 天日志系统设计和实现

  • 2019-08-13
  • 本文字数:661 字

    阅读完需:约 2 分钟

阿里10PB+天日志系统设计和实现

ArchSummit深圳2019大会上,孙廷韬(龙悟)讲师做了《阿里 10PB+/天日志系统设计和实现》主题演讲,主要内容如下。


演讲简介


阿里云日志服务作为阿里集团底层日志平台,提供完善易用的数据采集方案,PB 级数据实时索引和分析能力,在阿里集团被广泛应用,数千工程师直接使用日志服务进行日常问题排查,也有大量应用基于日志服务进行二次开发,如阿里集团所有大型 Trace 系统底层都使用日志服务。


演讲提纲


1、介绍阿里云 10PB +/天日志系统如何运转


  • 核心功能介绍

  • 支持的场景和解决的问题


2、系统解决的核心技术难点


性能和成本


  • PB 级索引系统设计思路


多租户下稳定性实现


  • 流量秒级流控、防穿透

  • 自动负载均衡

  • 资源动态分配和隔离


系统管理


  • 百万级的客户端如何管理、监控、问题自助定位

  • 应用管理


3、面向运维场景的高级功能介绍


  • 基于机器学习的时序数据智能诊断和预测

  • 超大规模日志实时智能聚类


4、应用实践


  • 阿里内部基于日志服务构建系统实践


听众受益点


  1. 了解生产环境下 10( PB +/天)日志系统的设计和实现,以及在这背后的思考

  2. 了解系统如何稳定支持上万应用

  3. 了解如何基于日志数据进行智能运维,以及阿里内部应用实践


讲师介绍


孙廷韬(龙悟)


阿里云 高级技术专家


阿里云高级技术专家,负责阿里云日志服务架构设计和实现。日志服务是针对实时数据一站式服务,提供日志数据采集、智能查询分析、消费与投递等功能,全面提升海量日志处理/分析能力。在阿里集团,覆盖百万服务器,上万应用,单日采集数据超过 10PB,为数千工程师提供简单易用的日志分析服务。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/shenzhen/schedule


2019-08-13 00:006813

评论

发布
暂无评论
发现更多内容

图解:HTTP 范围请求,助力断点续传,android游戏开发入门

android 程序员 移动开发

备战金九银十:Android面试10+个知识点总结宝典助你通关

android 程序员 移动开发

基于Android的特征X射线谱识别系统的开发,android指纹识别

android 程序员 移动开发

图解:HTTP 范围请求,助力断点续传(1),成功入职腾讯月薪45K

android 程序员 移动开发

在中国程序员是青春饭吗?,android开发基础入门教程

android 程序员 移动开发

Android线程思考

轻口味

android 多线程 11月日更

在线等!阿里、百度一面就惨遭吊打,kotlin语言书籍

android 程序员 移动开发

大型Bat面试知识总结分享—AMS在Android起到什么作用?简单的分析下Android的源码

android 程序员 移动开发

国内互联网公司为什么加班这么狠?,音视频学习指南来咯

android 程序员 移动开发

图文DEMO并茂讲解RecyclerView滑动时回收和复用触发的时机

android 程序员 移动开发

“神算子”上线!EasyDL时序预测模型零门槛轻松上手

百度大脑

人工智能 百度

大厂一步到位:Android-基础+Android高级,android物联网开发从入门到实战

android 程序员 移动开发

Google 的 Firebase 如何删除项目

HoneyMoose

国庆节不知道学什么?这份 Android 优秀技术文章清单请收下

android 程序员 移动开发

大众点评App的短视频耗电量优化实战,通宵都要看完这个Android关键技术点

android 程序员 移动开发

回忆2020年的美团Android岗的面试之旅,这面试官太会问了

android 程序员 移动开发

备战秋招-阿里巴巴面试真题:-给你一个Demo-你如何快速定位ANR?

android 程序员 移动开发

大学计算机专业,什么水平可以进大厂?,解密Android开发常见误区

android 程序员 移动开发

事务是如何影响你的系统(二)

卢卡多多

11月日更

在-View-上使用挂起函数,app开发面试题及答案

android 程序员 移动开发

在Android项目中接入Flutter,在Flutter使用安卓布局---草稿

android 程序员 移动开发

回眸重探锁机制,高级android工程师

android 程序员 移动开发

因为不了解Android事件分发机制,居然被实习生嘲笑了,成长路线图

android 程序员 移动开发

国内互联网公司为什么加班这么狠?(1),程序员翻身之路

android 程序员 移动开发

基本功---Litho的使用及原理剖析,10年阿里开发架构师经验分享

android 程序员 移动开发

备战阿里面试一年半顺利通过二面,面对突如其来的疫情,让我的阿里三面搁浅ing

android 程序员 移动开发

大学毕业做音视频开发,月入20K,你呢,kotlin协程面试

android 程序员 移动开发

四月字节客户端面经,七月内推请找我,kotlin类型转换

android 程序员 移动开发

回眸重探锁机制(1),零基础android

android 程序员 移动开发

回忆一次美团Android校招,居然被算法给难到了!(1),给2021的Android一些建议

android 程序员 移动开发

坊间传言:程序员可以先在大厂镀金,以后去中小厂毫无压力

android 程序员 移动开发

阿里10PB+天日志系统设计和实现_ArchSummit_孙廷韬(龙悟)_InfoQ精选文章