阿里 10PB+ 天日志系统设计和实现

阅读数:4934 2019 年 8 月 13 日 00:00

阿里10PB+天日志系统设计和实现

ArchSummit 深圳 2019 大会上,孙廷韬 (龙悟) 讲师做了《阿里 10PB+/ 天日志系统设计和实现》主题演讲,主要内容如下。

演讲简介

阿里云日志服务作为阿里集团底层日志平台,提供完善易用的数据采集方案,PB 级数据实时索引和分析能力,在阿里集团被广泛应用,数千工程师直接使用日志服务进行日常问题排查,也有大量应用基于日志服务进行二次开发,如阿里集团所有大型 Trace 系统底层都使用日志服务。

演讲提纲

1、介绍阿里云 10PB +/ 天日志系统如何运转

  • 核心功能介绍
  • 支持的场景和解决的问题

2、系统解决的核心技术难点

性能和成本

  • PB 级索引系统设计思路

多租户下稳定性实现

  • 流量秒级流控、防穿透
  • 自动负载均衡
  • 资源动态分配和隔离

系统管理

  • 百万级的客户端如何管理、监控、问题自助定位
  • 应用管理

3、面向运维场景的高级功能介绍

  • 基于机器学习的时序数据智能诊断和预测
  • 超大规模日志实时智能聚类

4、应用实践

  • 阿里内部基于日志服务构建系统实践

听众受益点

  1. 了解生产环境下 10( PB +/ 天) 日志系统的设计和实现,以及在这背后的思考
  2. 了解系统如何稳定支持上万应用
  3. 了解如何基于日志数据进行智能运维,以及阿里内部应用实践

讲师介绍

孙廷韬 (龙悟)

阿里云 高级技术专家

阿里云高级技术专家,负责阿里云日志服务架构设计和实现。日志服务是针对实时数据一站式服务,提供日志数据采集、智能查询分析、消费与投递等功能,全面提升海量日志处理 / 分析能力。在阿里集团,覆盖百万服务器,上万应用,单日采集数据超过 10PB,为数千工程师提供简单易用的日志分析服务。

阿里10PB+天日志系统设计和实现

阿里10PB+天日志系统设计和实现

阿里10PB+天日志系统设计和实现

阿里10PB+天日志系统设计和实现

阿里10PB+天日志系统设计和实现

阿里10PB+天日志系统设计和实现

阿里10PB+天日志系统设计和实现

阿里10PB+天日志系统设计和实现

阿里10PB+天日志系统设计和实现

阿里10PB+天日志系统设计和实现

完整演讲 PPT 下载链接

https://archsummit.infoq.cn/2019/shenzhen/schedule

评论

发布