写点什么

阿里 10PB+ 天日志系统设计和实现

  • 2019-08-13
  • 本文字数:661 字

    阅读完需:约 2 分钟

阿里10PB+天日志系统设计和实现

ArchSummit深圳2019大会上,孙廷韬(龙悟)讲师做了《阿里 10PB+/天日志系统设计和实现》主题演讲,主要内容如下。


演讲简介


阿里云日志服务作为阿里集团底层日志平台,提供完善易用的数据采集方案,PB 级数据实时索引和分析能力,在阿里集团被广泛应用,数千工程师直接使用日志服务进行日常问题排查,也有大量应用基于日志服务进行二次开发,如阿里集团所有大型 Trace 系统底层都使用日志服务。


演讲提纲


1、介绍阿里云 10PB +/天日志系统如何运转


  • 核心功能介绍

  • 支持的场景和解决的问题


2、系统解决的核心技术难点


性能和成本


  • PB 级索引系统设计思路


多租户下稳定性实现


  • 流量秒级流控、防穿透

  • 自动负载均衡

  • 资源动态分配和隔离


系统管理


  • 百万级的客户端如何管理、监控、问题自助定位

  • 应用管理


3、面向运维场景的高级功能介绍


  • 基于机器学习的时序数据智能诊断和预测

  • 超大规模日志实时智能聚类


4、应用实践


  • 阿里内部基于日志服务构建系统实践


听众受益点


  1. 了解生产环境下 10( PB +/天)日志系统的设计和实现,以及在这背后的思考

  2. 了解系统如何稳定支持上万应用

  3. 了解如何基于日志数据进行智能运维,以及阿里内部应用实践


讲师介绍


孙廷韬(龙悟)


阿里云 高级技术专家


阿里云高级技术专家,负责阿里云日志服务架构设计和实现。日志服务是针对实时数据一站式服务,提供日志数据采集、智能查询分析、消费与投递等功能,全面提升海量日志处理/分析能力。在阿里集团,覆盖百万服务器,上万应用,单日采集数据超过 10PB,为数千工程师提供简单易用的日志分析服务。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/shenzhen/schedule


2019-08-13 00:006662

评论

发布
暂无评论
发现更多内容

如何在 Linux 中查找文件所有者?

wljslmz

三周年连更

Shell脚本从入门到精通

袁袁袁袁满

三周年连更

极客时间「大师课·深度剖析 RocketMQ5.0」上线啦,欢迎免费领取!

阿里巴巴云原生

阿里云 RocketMQ 云原生

数字未来:世界正走向新的“破茧时刻”

脑极体

华为

《精进3:找到你的潜在生态位》

石云升

读书笔记 三周年连更

精进云原生 - Dubbo 3.2 正式发布

阿里巴巴云原生

阿里云 云原生 dubbo

上线控制台,降低使用门槛|Higress 1.0.0 RC 版本发布

阿里巴巴云原生

阿里云 云原生 Higress

学会 Go select 语句,轻松实现高效并发

陈明勇

Go golang 高并发 select 三周年连更

如何使用 Java 将 JSON 文件读取为字符串?这三种方法很管用!

Java架构历程

三周年连更

发现了一个对公有云资源进行规范管理的方法

cynthia

公有云 云管平台 安全合规

【深入浅出Spring原理及实战】「源码调试分析」深入源码探索Spring底层框架的的refresh方法所出现的问题和异常

洛神灬殇

spring NPE 源码剖析 4月日更 问题分析

百度平地起“雷”,突然爆出的QPS数据意味着什么?

脑极体

大模型

音视频八股文(4)--ffmpeg常见命令(3)

福大大架构师每日一题

音视频 ffmpeg

python时间序列预测之Holt-Winters

AIWeker

Python 机器学习 时间序列 三周年连更

INFINI 产品更新|Console v1.0 版本正式发布

极限实验室

elasticsearch console Gateway infini 极限网关

R 编程并发的基础知识有哪些?

海拥(haiyong.site)

三周年连更

Koordinator 一周年,新版本 v1.2.0 支持节点资源预留,兼容社区重调度策略

阿里巴巴云原生

阿里云 开源 云原生 Koordinator

关于容器云的三种网络设计

穿过生命散发芬芳

容器云 三周年连更

测试需求平台8-Arco组件实现产品增改需求

MegaQi

测试平台开发 三周年连更 AcroVue

Kubernetes网络模型分析

王玉川

Kubernetes 云原生 网络 iptables cluster

Kubernetes架构解析

乌龟哥哥

三周年连更

世界读书日|华为阅读联合40余家伙伴推出精品书单

最新动态

缓存的处理步骤

阿泽🧸

缓存 三周年连更

2022-04-23:给定你一个整数数组 nums 我们要将 nums 数组中的每个元素移动到 A 集合 或者 B 集合中 使得 A 集合和 B 集合不为空,并且 average(A) == aver

福大大架构师每日一题

golang 算法 rust

职业规划:如何面对“程序员失业”?| 社区征文

ninetyhe

人工智能 AI 大龄程序员 三周年征文

TestNG 中使用 Guice 来进行依赖注入

HoneyMoose

CnosDB成为首个支持sqllogictest的时序数据库,稳定性与可靠性再升级

CnosDB

数据库 开源 时序数据库 CnosDB

Matlab实现光伏发电电池模型

Shine

三周年连更

Android调用WebService

芯动大师

HTTP WebService 三周年连更

Shell脚本实战:Consul 服务注册和注销的最佳实践

小毛驴的烂笔头

Linux Shell

Unity 之 关于停止协程的五种方式解析

陈言必行

Unity 三周年连更

阿里10PB+天日志系统设计和实现_ArchSummit_孙廷韬(龙悟)_InfoQ精选文章