NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

SnappyData 在美团酒店实时数据分析中的应用

  • 2019-08-24
  • 本文字数:623 字

    阅读完需:约 2 分钟

SnappyData在美团酒店实时数据分析中的应用

QCon北京2018大会上,焦向讲师做了《SnappyData 在美团酒店实时数据分析中的应用》主题演讲,主要内容如下。


演讲简介


以 Flink 和 SnappyData 为核心,将原有的非实时、开发周期长、维护成本高的以“预处理”为核心的方案,转化为目前以“后处理”为核心的方案。


  1. 开发效率:得到质变,无需预处理,周级别需求小时级完成。

  2. 节省存储空间:比如原方案 Kylin 中 150T+预处理结果数据不再需要。

  3. 其他一些收益:比如指标一致性显著提升。

  4. 历史数据问题:采用类 SCD Type 2 的方式,处理历史事实数据和数据压缩,有不少对比数据。

  5. 建模问题:直接从原始表支持需求,中间缺少传统数仓建模的抽象层次,尝试实现类似 Shasta 的 RVL 层。


介绍 SnappyData 的优势劣势,当前的问题,我们在调优方面的努力,以及我们的定制化修改:


  1. 支持注册 Spark 声明式 UDF,相比于命令式 UDF,性能提升一个量级,很好的解决了酒店的特殊场景;

  2. Boxing/Unboxing 优化;

  3. QueryPlan Cache 相关的优化。


讲师介绍


焦向


美团点评 高级技术专家,酒店经营效率组负责人


焦向,2015 年加入美团点评,现为美团酒店经营效率组负责人,曾负责美团平台推荐系统架构。先前就职于百度,主要做分布式缓存,是社区第三代 Redis 集群化方案的设计者和主要实现者,支持了包括贴吧、手百在内的多个产品,有丰富的分布式存储理论和实践经验;工作之余,对编程语言基础理论、编译器优化、机器学习都有浓厚兴趣和一定深入。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-24 17:131130

评论

发布
暂无评论
发现更多内容

龙之谷链游再现辉煌!西安区块链游戏开发公司引领新潮流,开启虚拟冒险之旅!

西安链酷科技

区块链游戏开发 nft卡牌开发

什么是费曼学习法,具体使用方法?一文讲清费曼学法!

彭宏豪95

效率工具 高效学习 在线白板 办公软件 费曼学习法

符文协议的演变历程:从挑战到创新

股市老人

交易所开发费用揭秘:找对搭建交易所的公司,成本透明不再迷茫!

西安链酷科技

区块链交易所开发 数字货币交易所 期权交易所开发

ETLCloud中数据源使用和管理的技巧

RestCloud

MySQL 数据库 ETL 数据源 数据源管理

一文带你了解什么是国际短信

Finovy Cloud

云计算 国际短信

鸿蒙HarmonyOS实战-ArkUI组件(Swiper)

蜀道山

鸿蒙 HarmonyOS 鸿蒙开发 arkui ArkTS

新特性、新平台、新功能!Anolis OS 8.9 版本正式发布

OpenAnolis小助手

操作系统 龙蜥社区 龙蜥操作系统

盘点 | 2024 年最值得关注的十大 ETL 数据集成工具

tapdata

Tapdata 数据集成平台 etl工具都有哪些 数据etl工具

四大战略合作重磅签署,九章云极DataCanvas公司为全球智算生态注能

九章云极DataCanvas

公链技术开发公司:构建去中心化应用的新引擎

西安链酷科技

公链团队

公链技术开发公司:引领区块链技术的商业化进程

西安链酷科技

区块链技术公司

从故障演练到运维工具产品力评测的探索 | 龙蜥技术

OpenAnolis小助手

开源 操作系统 系统运维 龙蜥社区

智慧供应链新时代,顺丰科技助力企业实现系统性价值提升

新消费日报

defi交易挖矿系统开发 dapp智能合约开发技术

西安链酷科技

DAPP系统开发 defi金融开发

Vue 3 进阶用法:异步组件

快乐非自愿限量之名

Vue 异步

Valkey开源社区再添新成员!阿里云与Redis核心贡献者再聚首

阿里云瑶池数据库

数据库 redis 阿里云 开源社区

链上挖矿模式开发全攻略:数字货币的挖矿新篇章!

西安链酷科技

区块链开发

探索早期投资的奥秘:符文(Runes)生态系统的崛起

EOSdreamer111

面向 AI 软件栈的优先设计 龙蜥社区 AI 生态建设介绍

OpenAnolis小助手

开源 AI 操作系统 龙蜥社区 龙蜥操作系统

vivo蓝河破浪前行,国产操作系统掀起创新风暴

脑极体

AI

鸿蒙HarmonyOS实战-ArkUI组件(Grid/GridItem)

蜀道山

鸿蒙 HarmonyOS 鸿蒙开发 arkui ArkTS

学习 XQuery:XML数据查询的关键

小万哥

xml 程序人生 编程语言 软件工程 前端开发

明天!龙蜥在 2024 OceanBase 开发者大会上等你

OpenAnolis小助手

操作系统 oceanbase 龙蜥社区

PrismNET棱镜协议,发展路径!

PrismNET

区块链 dapp PrismNET棱镜协议 PrismNET

九章云极DataCanvas AIDC OS智算操作系统正式发布,开启AI智算新纪元

九章云极DataCanvas

DApp软件开发全解析:智能合约定制,引领未来数字生态!

西安链酷科技

dapp合约开发

ClkLog自定义事件分析登场

ClkLog

数据分析 埋点 开源软件

引领区块链创新:公链技术开发公司的先驱之路

西安链酷科技

合约量化 合约开发 公链钱包开发

公链技术开发公司:打造安全、高效的区块链基础设施

西安链酷科技

交易所开发 公链钱包开发

探索去中心化应用程序(DApps)开发:重塑数字世界的无限可能!

西安链酷科技

dapp去中心化系统开发

SnappyData在美团酒店实时数据分析中的应用_QCon_焦向_InfoQ精选文章