OceaBase开发者大会落地上海!4月20日共同探索数据库前沿趋势!报名戳 了解详情
写点什么

SnappyData 在美团酒店实时数据分析中的应用

  • 2019-08-24
  • 本文字数:623 字

    阅读完需:约 2 分钟

SnappyData在美团酒店实时数据分析中的应用

QCon北京2018大会上,焦向讲师做了《SnappyData 在美团酒店实时数据分析中的应用》主题演讲,主要内容如下。


演讲简介


以 Flink 和 SnappyData 为核心,将原有的非实时、开发周期长、维护成本高的以“预处理”为核心的方案,转化为目前以“后处理”为核心的方案。


  1. 开发效率:得到质变,无需预处理,周级别需求小时级完成。

  2. 节省存储空间:比如原方案 Kylin 中 150T+预处理结果数据不再需要。

  3. 其他一些收益:比如指标一致性显著提升。

  4. 历史数据问题:采用类 SCD Type 2 的方式,处理历史事实数据和数据压缩,有不少对比数据。

  5. 建模问题:直接从原始表支持需求,中间缺少传统数仓建模的抽象层次,尝试实现类似 Shasta 的 RVL 层。


介绍 SnappyData 的优势劣势,当前的问题,我们在调优方面的努力,以及我们的定制化修改:


  1. 支持注册 Spark 声明式 UDF,相比于命令式 UDF,性能提升一个量级,很好的解决了酒店的特殊场景;

  2. Boxing/Unboxing 优化;

  3. QueryPlan Cache 相关的优化。


讲师介绍


焦向


美团点评 高级技术专家,酒店经营效率组负责人


焦向,2015 年加入美团点评,现为美团酒店经营效率组负责人,曾负责美团平台推荐系统架构。先前就职于百度,主要做分布式缓存,是社区第三代 Redis 集群化方案的设计者和主要实现者,支持了包括贴吧、手百在内的多个产品,有丰富的分布式存储理论和实践经验;工作之余,对编程语言基础理论、编译器优化、机器学习都有浓厚兴趣和一定深入。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-24 17:131126

评论

发布
暂无评论
发现更多内容

中国移动工程师浅析:KubeEdge在国家工业互联网大数据中心的架构设计与应用

华为云开发者联盟

大数据 数据采集 工业智能体 边缘数据中心管理 EDCM

Ebean ORM框架介绍-1.增强注解

Barry的异想世界

Spring Boot jpa ORM Ebean

从云数据迁移服务看MySQL大表抽取模式

华为云开发者联盟

MySQL JVM JDBC 数据迁移

架构师训练营第2期大作业(二)

月下独酌

架构师训练营第2期

VoltDB让Kafka支持复杂数据流驱动的实时业务决策

VoltDB

数据库 kafka 分布式系统 VoltDB

WiFi 空口抓包工具 --- OmniPeek

2 期架构师训练营 - 大作业(一)

云飞扬

架构师训练营第2期

大作业二-请用思维导图画出架构师训练营所有技术知识点

未来已来

第6周课后练习-技术选型二

潘涛

架构师训练营 4 期

LeetCode题解:33. 搜索旋转排序数组,二分查找,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

机器学习笔记之:

Nydia

Elasticsearch 分页搜索以及 deep paging 性能问题

escray

elastic 七日更 死磕Elasticsearch 60天通过Elastic认证考试 2月春节不断更

一文总结GaussDB通信原理知识

华为云开发者联盟

数据库 通信 框架 GaussDB 计算

对话京东科技算法科学家吴友政:回望2020,NLP技术发展速度强劲

京东科技开发者

人工智能 自然语言处理

【LeetCode】可获得的最大点数

Albert

算法 LeetCode 2月春节不断更

上古神器 sed 教程详解,小白也能看得懂

鞋子特大号

Linux sed

架构师训练营-架构大作业(一)

花果山

架构师训练营第2期

架构师训练营大作业(二)

花果山

架构师训练营第2期

日记 2021年2月6日(周六)

Changing Lin

个人感悟 2月春节不断更

MyBatis专栏 - 一级缓存

小马哥

Java mybatis 七日更 2月春节不断更

2. 无门槛学会数据类型与输入、输出函数,滚雪球学 Python

梦想橡皮擦

Python python 爬虫 2月春节不断更 python入门

做事情时,脑袋中一次只装一件事

熊斌

读书笔记 2月春节不断更

翻译:《实用的Python编程》01_01_Python

codists

Python

Android 完全符合规则但很头疼的Json映射成一个树结构且可折叠的列表?

第三女神程忆难

Java android kotlin 安卓

week11-conclusion

J

前端必学必会-多媒体-本地存储-浏览器与服务器的交互-通信功能

我是哪吒

学习 程序员 面试 大前端 2月春节不断更

Linux Lab 进阶: Qemu 模拟器 & Toolchain 工具链

贾献华

Linux Tool Linux Kenel qemu Toolchain

并发编程系列:并发编程基础

程序员架构进阶

架构 JVM 七日更 28天写作 2月春节不断更

week11-homework

J

产品训练营第四章作业(一)

Arnold

架构师训练营第2期 大作业 (一)

月下独酌

架构师训练营第2期

SnappyData在美团酒店实时数据分析中的应用_QCon_焦向_InfoQ精选文章