阿里10PB+天日志系统设计和实现_ArchSummit_孙廷韬(龙悟)_InfoQ精选文章

阿里10PB+天日志系统设计和实现

在ArchSummit深圳2019大会上，孙廷韬(龙悟)讲师做了《阿里 10PB+/天日志系统设计和实现》主题演讲，主要内容如下。

演讲简介：

阿里云日志服务作为阿里集团底层日志平台，提供完善易用的数据采集方案，PB 级数据实时索引和分析能力，在阿里集团被广泛应用，数千工程师直接使用日志服务进行日常问题排查，也有大量应用基于日志服务进行二次开发，如阿里集团所有大型 Trace 系统底层都使用日志服务。

演讲提纲：

1、介绍阿里云 10PB +/天日志系统如何运转

核心功能介绍
支持的场景和解决的问题

2、系统解决的核心技术难点

性能和成本

PB 级索引系统设计思路

多租户下稳定性实现

流量秒级流控、防穿透
自动负载均衡
资源动态分配和隔离

系统管理

百万级的客户端如何管理、监控、问题自助定位
应用管理

3、面向运维场景的高级功能介绍

基于机器学习的时序数据智能诊断和预测
超大规模日志实时智能聚类

4、应用实践

阿里内部基于日志服务构建系统实践

听众受益点：

了解生产环境下 10( PB +/天)日志系统的设计和实现，以及在这背后的思考
了解系统如何稳定支持上万应用
了解如何基于日志数据进行智能运维，以及阿里内部应用实践

讲师介绍：

孙廷韬(龙悟)

阿里云高级技术专家

阿里云高级技术专家，负责阿里云日志服务架构设计和实现。日志服务是针对实时数据一站式服务，提供日志数据采集、智能查询分析、消费与投递等功能，全面提升海量日志处理/分析能力。在阿里集团，覆盖百万服务器，上万应用，单日采集数据超过 10PB，为数千工程师提供简单易用的日志分析服务。

完整演讲 PPT 下载链接：

https://archsummit.infoq.cn/2019/shenzhen/schedule

评论

发布

暂无评论

hive学习笔记之七：内置函数，mybatis防止sql注入原理

Java 程序员后端

Java SSM (springboot+mybatis)美食菜谱分享平台系统设计和实现以及论文报告

Java 程序员后端

Java 多线程 —— 同步代码块，给大家安排上

Java 程序员后端

HTML笔记 —— 列表，和快手大佬的技术面谈

Java 程序员后端

jackson学习之九：springboot整合(配置文件)，jpa和mybatis的区别面试

Java 程序员后端

hive学习笔记之九：基础UDF，java入门书籍下载

Java 程序员后端

Intellij IDEA神器那些让人爱不释手的小技巧，java高级程序员面试笔试

Java 程序员后端

Java IO，Java真实项目案例分享

Java 程序员后端

Java this关键字详解（3种用法），springaop实现原理面试题

Java 程序员后端

Java 必须掌握的 12 种 Spring 常用注解！你掌握了几种？

Java 程序员后端

HashMap（jdk1，Java程序员进大厂面试必备基础技能

Java 程序员后端

Hello Git快速入门，redis常见数据结构以及使用场景分析

Java 程序员后端

hive学习笔记之三：内部表和外部表，java面试手写算法

Java 程序员后端

hive学习笔记之八：Sqoop，大厂Offer拿到手软啊

Java 程序员后端

Jaeger知识点补充，mysqlsql优化视频教程百度网盘

Java 程序员后端

Helm部署的服务如何修改配置，nginx面试题负载均衡

Java 程序员后端

hive学习笔记之三：内部表和外部表(1)，贼好用的Java学习路线集合

Java 程序员后端

IDEA 一键部署 SpringBoot 项目到远程服务器 Docker 内

Java 程序员后端

IDEA这样配置，好用到爆炸！(1)，java基础入门第二版课后答案

Java 程序员后端

1个月连载30个设计模式真实案例（附源码），挑战年薪60W不是梦

Java 架构设计模式

Java 的大 Class 到底是什么？，吃透这份Java高级工程师面试497题解析

Java 程序员后端

HashMap详解，hadoop源码分析完整版

Java 程序员后端

IDEA-2021首个大版本发布，Java开发者感动哭了（附新亮点演示

Java 程序员后端

IDEA这样配置，好用到爆炸！，金九银十怎么从中小企业挤进一线大厂

Java 程序员后端

jackson学习之八：常用方法注解，为什么阿里的程序员成长如此之快

Java 程序员后端

Java 世界里的垃圾回收规则你搞懂了吗？，java编程思想百度云

Java 程序员后端

Java lambda表达式用法介绍，linux教程第四版思考题答案

Java 程序员后端

HTTP-2做错了什么？刚刚辉煌2年就要被弃用了！，mybatis底层工作原理

Java 程序员后端

IDEA 一键部署 SpringBoot 项目到远程服务器 Docker 内(1)

Java 程序员后端

Java BSON使用，springboot运行原理理解

Java 程序员后端

Java 新特性之泛型，kafka的架构图

Java 程序员后端