使用 TiDB 进行实时数据分析

2019 年 8 月 07 日

使用 TiDB 进行实时数据分析

QCon 北京 2019 大会上,马晓宇讲师做了《使用 TiDB 进行实时数据分析》主题演讲,主要内容如下。

演讲简介

实时分析平台的架构选型是一个需要多维度权衡的问题。NoSQL 提供了非常低的延迟,但分析能力往往孱弱;Hadoop + MPP 引擎或者分析型数据库提供了复杂的分析能力,但很难胜任实时要求高的场景。如果把他们当做光谱的两端,那其中还有各种不同方案尝试填补空缺,用户往往需要通过复杂的架构来补齐不同方案的短板。

TiDB 是一款开源分布式 NewSQL 数据库,它提供了良好的延展性和应对复杂场景的分析能力。对比 NoSQL,它拥有完整的数据库特性支持,降低开发成本;而相对数据湖和分析数据库,它又能很好地承载较高并发的分析场景;配合 TiFlash 以及 TiSpark,传统 Hadoop 平台上的复杂分析也能良好地解决。因此除了传统的 OLTP 场景之外,TiDB 也可以胜任诸多实时分析的场景,甚至在一些场合,它可以作为一个整合的数据平台大大简化系统架构。本次分享将和大家探讨 TiDB 关于实时分析场景的特性和设计以及适用场景,对比它与其他方案的优劣,以及进行中和计划中的相关改进。

听众受益

  1. TiDB 的基本原理及其针对实时分析场景的特性和设计;
  2. TiDB 相对其他实时分析方案的优劣;
  3. TiDB 的使用场景以及实际用户案例分析。

讲师介绍

马晓宇

PingCAP 分析型产品负责人

马晓宇,PingCAP 分析型产品负责人。曾就职于 Quantcast、网易,负责构建和管理大数据平台。关注分布式系统,SQL 引擎开发等领域。

完整演讲 PPT 下载链接

https://qcon.infoq.cn/2019/beijing/schedule

2019 年 8 月 07 日 08:00 1208

评论

发布
暂无评论
  • 架构师训练营作业 -- Week 12

    分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

    2020 年 9 月 8 日

  • 架构师训练营第十二周 - 作业

    分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么? reduce 函数输入是什么?输出是什么?

    2020 年 8 月 28 日

  • 阿里巴巴新一代交互式分析引擎 Hologres

    2019 年 7 月 24 日

  • Week12

    分析如下 HiveQL,生成的 MapReduce 执行程序,map 函数输入是什么?输出是什么,reduce 函数输入是什么?输出是什么?

    2020 年 8 月 31 日

  • 第四周总结

    了了基科淘,米新架各演过。体反一问,大架体源业的增业倒着构速进而家创司业激又往于单业。务简于户言味易好,公而迭成,展本小可错更。

    2020 年 6 月 29 日

  • CAP 原理及案例分析

    CAP 定理(CAP theorem)又被称作布鲁尔定理(Brewer's theorem),是加州大学伯克利分校的计算机科学家埃里克·布鲁尔(Eric Brewer)在 2000 年的 ACM PODC 上提出的一个猜想。布鲁尔在提出 CAP 猜想的时候,并没有详细定义,为但 Robert Greiner写了相应的

    2020 年 7 月 15 日

  • MySQL 复杂 where 条件分析

    在《MySQL 常见语句加锁分析》一文中,我们详细讲解了 SQL 语句的加锁原理并具体分析了大部分的简单 SQL 语句,但是实际业务场景中 SQL 语句往往及其复杂,包含多个条件,此时就需要具体分析SQL 使用到的索引,并了解 where 条件的判断逻辑。

    2020 年 8 月 31 日

  • 02 丨 DBMS 的前世今生

    今天我们先从SQL语言中跳脱出来,来分析下常见的DBMS。

    2019 年 6 月 14 日

  • SAP 的 HANA 战略(上)

    2009年全球知名ERP公司SAP开始了一场声势浩大的战略转型。这场以HANA这个内存数据库为核心的转型波澜壮阔,集技术和商业为一体,在实际中拯救了SAP。

    2018 年 9 月 5 日

  • HTAP 是不是赢者通吃的游戏?

    进入大数据时代后,OLAP系统需要更快地反映业务的变化。HTAP要解决的就是OLAP的时效问题,不过它也不是唯一的选择。

    2020 年 9 月 18 日

发现更多内容

你真的会用Mac中的Finder吗

Winann

macos 效率 App Mac

Gartner 【RPA市场竞争格局】:中国厂商首次进入国际视野

人称T客

ARTS week 2

锈蠢刀

如何用一台电脑制作一部动画短片?

zhoo299

动画 CG

Vol.3 人工智能这么热,你必须知道一点儿!

Lanpeng2020

人工智能

软件开发生产率改进之我见(二)

清水

软件工程 软件开发 技术管理

源码分析 | Mybatis接口没有实现类为什么可以执行增删改查

小傅哥

Java 源码分析 小傅哥 mybatis 编程思维

redis过期策略和内存淘汰机制

wjchenge

揭秘神经拟态计算:缘何成为AI界新宠?

飞天鱼2017

联邦学习与推荐系统

博文视点Broadview

人工智能 深度学习 大数据 联邦学习 推荐系统

好的软件工程原则

pydata

你的团队想做出什么成果?

姜戈

团队管理

Vol.2 谷歌不只有搜索

Lanpeng2020

谷歌Google

健身一周年:持续锻炼带来无法想象的改变

Breeze

学习 职业 专注 健身

宕机原因千千万,被雷劈了最无奈

田晓旭

100天从 Python 小白到大神最良心的学习资源!

JackTian

Python GitHub 学习资源 Python-100-Days Python-Core-50-Courses

实现元素等高: Flexbox vs. Grid

寇云

CSS css3

多线程与线程安全(实例讲解)

YoungZY

Java 多线程 线程安全

Spring Security 两种资源放行策略,千万别用错了!

江南一点雨

Java spring springboot springsecurity

你为什么“啃不动”你手中的技术书?

图灵社区

Java Python 算法 HTTP R语言

管理规划篇

姜戈

团队管理 团队组织

Vol.1 Java初探,新手必看!

Lanpeng2020

编程 新手指南

Android原生人脸识别Camera2+FaceDetector 快速实现人脸跟踪

sar

你的团队是干什么的?

姜戈

团队管理 团队职能

突破困局

Neco.W

感悟 工作 创业心态

一致性算法 Raft 简述

架构精进之路

raft 一致性算法

终于,我也到了和Eclipse说再见的时候,难说再见

Dimple

Java eclipse IDEA

码农远程办公指北

大伟

使用<input>标签实现六个格子验证码输入框

brave heart

JavaScript vue.js 前端

python实现·十大排序算法之计数排序(Counting Sort)

南风以南

Python 排序算法 计数排序

Anaconda与虚拟环境

halapano

Python virtualenv Anaconda

使用 TiDB 进行实时数据分析-InfoQ