PB级数据检索平台 ElasticSearch在滴滴的实践

2019 年 8 月 17 日

PB级数据检索平台  ElasticSearch在滴滴的实践

QCon 广州 2019 大会上,张亮讲师做了《PB 级数据检索平台 | ElasticSearch 在滴滴的实践》主题演讲,主要内容如下。

演讲简介

滴滴数据检索平台是基于 ElasticSearch 构建的一站式搜索中台,服务了公司一千多个平台方,涵盖了搜索与推荐、MySQL 实时数仓、安全分析、日志检索四大应用场景。本次会分享面对数千万 TPS 写入、数万 QPS 查询,PB 级的数据存储,如何打造存储成本低、系统稳定性好,易用的搜索中台。

听众受益

  1. 如何基于 ElasticSearch 构建低成本的日志检索解决方案?
  2. 面对千万级 TPS 的实时写入,万级 QPS 的实时查询,如何保证检索平台的稳定性?
  3. 业务快速发展下,平台如何高效地服务用户?

讲师介绍

张亮

滴滴出行 高级专家工程师,TGO 鲲鹏会会员

2011 年 4 月 -2014 年 4 月担任华为南研所网盘研发工程师;2014 年 4 月至今任职滴滴出行数据中台高级专家工程师。在滴滴任职 5 年,从无到有组建团队,主持构建过任务调度系统、业务监控系统、链路跟踪与诊断系统、数据同步中心等架构设计与研发工作,目前在负责数据通道、kafka 服务、数据检索的引擎建设工作,具有丰富的高并发、高吞吐场景的架构设计与研发经验。

完整演讲 PPT 下载链接

https://qcon.infoq.cn/2019/guangzhou/schedule

2019 年 8 月 17 日 00:00 1373
用户头像

发布了 24 篇内容,共 215303 次阅读,收获喜欢 98 次。

关注

评论

发布
暂无评论
发现更多内容

饿了么4年 + 阿里2年:研发路上的一些总结与思考

程序员生活志

阿里 饿了么 经验总结

【小白学YOLO】一文带你学YOLOv1 Testing

华为云开发者社区

人工智能 算法 图像识别 什么是多线程

架构师训练营」第 7 周作业

edd

极客大学架构师训练营

又被逼着优化代码,这次我干掉了出入参 Log日志

程序员内点事

Java

LeetCode 题解:122. 买卖股票的最佳时机 II,JavaScript,一遍循环,详细注释

Lee Chen

前端进阶训练营

面向进化的软件架构

星际行者

软件架构 进化

程序员开启社交和打造影响力的最佳方式

非著名程序员

程序员 提升认知 写作 程序员成长 社交

数据分析师 ”痛“ 谁能了解

松子(李博源)

数据分析 数据产品经理 数据产品 数据模型

一个简单的物联网设备接入网关高可用方案

凸出

Java nginx Netty

智能标注原理揭秘,一文读懂人工智能如何解决标注难题

百度大脑

人工智能 深度学习 百度 AI 百度大脑

字节跳动李本超:一年成为 Committer,我与 Flink 社区的故事

Apache Flink

flink

Fastjson到了说再见的时候了

YourBatman

Jackson Fastjson JSON库

提速数字化!区块链加速应用落地,新制造与服务不断推出

CECBC区块链专委会

【源码系列】Spring Cloud Gateway

Alex🐒

源码 SpringCloud Gateway

多线程为了同个资源打起架来了,该如何让他们安定?

小林coding

并发编程 多线程 操作系统 计算机基础

一口气说出 4 种分布式一致性 Session 实现方式,面试杠杠的~

楼下小黑哥

nginx redis 分布式 session

Python好找工作吗?

cdhqyj

BIGO | Likee深度推荐模型的特征工程优化

DT极客

[POJ 1001] Exponentiation JAVA解题报告

一直AC一直爽

算法 刷题 POJ ACM

第七周作业

andy

极客大学

JAVA算法

Bruce Duan

排序算法 Java算法

kubernetes 集群升级,备份,故障恢复(kubeadm)

小小文

Kubernetes 群集安装 故障 kubeadm

存储性能加速引擎之预读

焱融科技

Linux sds 焱融科技 分布式存储 预读

【API进阶之路】因为不会创建云服务器,我被实习生摆了一道

华为云开发者社区

虚拟机 服务器 API 华为云 API接口管理

阿里云高级技术专家李晓成:面向5G的云网一体及云原生应用实践

巨侠说

天府之国迎来数字经济发展高地新契机

CECBC区块链专委会

数字货币 区块链技术 应用落地 人才政策产业

一千万个身份证号在java中需要多少内存

华宇法律科技

string heap memory Java Virtual Machine

[POJ 1000] A+B Problem 经典水题 JAVA解题报告

一直AC一直爽

POJ OJ ACM 水题

常见的emit实现AOP demo

八苦-瞿昙

随笔 随笔杂谈 aop

密码学的随机性与区块链随机数

CECBC区块链专委会

你的个人博客网站该上线了!

北漂码农有话说

众安黑客马拉松大赛总决赛-InfoQ小编探班

众安黑客马拉松大赛总决赛-InfoQ小编探班

PB级数据检索平台  ElasticSearch在滴滴的实践-InfoQ