武汉的开发者们注意啦!AI技术战略、框架以及最佳实战尽在Azure OpenAI Day 了解详情
写点什么

SnappyData 在美团酒店实时数据分析中的应用

  • 2019-08-24
  • 本文字数:623 字

    阅读完需:约 2 分钟

SnappyData在美团酒店实时数据分析中的应用

QCon北京2018大会上,焦向讲师做了《SnappyData 在美团酒店实时数据分析中的应用》主题演讲,主要内容如下。


演讲简介


以 Flink 和 SnappyData 为核心,将原有的非实时、开发周期长、维护成本高的以“预处理”为核心的方案,转化为目前以“后处理”为核心的方案。


  1. 开发效率:得到质变,无需预处理,周级别需求小时级完成。

  2. 节省存储空间:比如原方案 Kylin 中 150T+预处理结果数据不再需要。

  3. 其他一些收益:比如指标一致性显著提升。

  4. 历史数据问题:采用类 SCD Type 2 的方式,处理历史事实数据和数据压缩,有不少对比数据。

  5. 建模问题:直接从原始表支持需求,中间缺少传统数仓建模的抽象层次,尝试实现类似 Shasta 的 RVL 层。


介绍 SnappyData 的优势劣势,当前的问题,我们在调优方面的努力,以及我们的定制化修改:


  1. 支持注册 Spark 声明式 UDF,相比于命令式 UDF,性能提升一个量级,很好的解决了酒店的特殊场景;

  2. Boxing/Unboxing 优化;

  3. QueryPlan Cache 相关的优化。


讲师介绍


焦向


美团点评 高级技术专家,酒店经营效率组负责人


焦向,2015 年加入美团点评,现为美团酒店经营效率组负责人,曾负责美团平台推荐系统架构。先前就职于百度,主要做分布式缓存,是社区第三代 Redis 集群化方案的设计者和主要实现者,支持了包括贴吧、手百在内的多个产品,有丰富的分布式存储理论和实践经验;工作之余,对编程语言基础理论、编译器优化、机器学习都有浓厚兴趣和一定深入。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-24 17:131112

评论

发布
暂无评论
发现更多内容

spring教程,java大学实用教程第四版作业题,中高级Java开发面试题

Java 程序员 后端

Spring是怎样巧用三级缓存解决循环依赖的,nginx实战百度网盘,面试必问!

Java 程序员 后端

tomcat服务器面试题,java项目开发实训教程,Java编程教程视频下载

Java 程序员 后端

netty框架教程,mysql数据库教程视频指导版,HTTPS面试常问全解析

Java 程序员 后端

Spring容器如何解决循环依赖的原理,Java编程教学视频

Java 程序员 后端

netty源码剖析与实战百度云,牛客网搜题软件,字节跳动高级Java开发面试

Java 程序员 后端

rocketmq原理解析,尚硅谷深圳校区,万分膜拜!

Java 程序员 后端

springcloud教程入门,极客时间kafka,4年小Java的心路历程

Java 程序员 后端

springcloud百度网盘,牛客网面试题,Java面试高频知识点

Java 程序员 后端

netty架构图,linux教程视频,缓存+一致性哈希+分布式面试题

Java 程序员 后端

springboot教学视频,mysql破解版百度云,微盟Java笔试题

Java 程序员 后端

spring全方位深入探索,2021Java开发社招面试解答之性能优化

Java 程序员 后端

netty实战pdf,拉钩教育java就业集训班,Java开发热门前沿知识

Java 程序员 后端

RocketMQ生产部署架构设计,Java面试超详细知识点

Java 程序员 后端

RPC的通信Netty的底层是Nio,在一家公司干多长时间跳槽才合适

Java 程序员 后端

springcloud入门,动力节点与尚学堂,月薪30K

Java 程序员 后端

spring教程,spring框架菜鸟教程,Java重点知识点

Java 程序员 后端

spring源码视频教程,java尚学堂,Java项目视频

Java 程序员 后端

springboot实战项目源码,java算法视频百度云盘,阿里P8亲自讲解

Java 程序员 后端

springmvc原理图解,尚硅谷ajax源码,Redis宕机数据丢失解决方案

Java 程序员 后端

spring教程下载,linux入门基础教程,2021Java者未来的出路在哪里

Java 程序员 后端

mysql的面试题及答案,尚硅谷与达内哪家好,Java虚拟机学习集锦是我攒来的

Java 程序员 后端

Nginx如何支持HTTPS,“重金求来”Alibaba技术官并发编程笔记

Java 程序员 后端

Redis灵魂14问,Java编程从入门到实践

Java 程序员 后端

RocketMQ避坑指南,java入门教程全套,实战篇

Java 程序员 后端

springcloud架构源码,慕课网极客学院,总结到位

Java 程序员 后端

spring教程,java程序设计基础教程,OMG

Java 程序员 后端

oppoJava面试题,开课吧高级架构师10期咋样,正式加入字节跳动

Java 程序员 后端

Redis缓存:尚硅谷springboot百度云,Java中高级面试题总结

Java 程序员 后端

springboot思维导图,尚学堂java300集,从头到尾,都是精华

Java 程序员 后端

SpringBoot,黑马java视频教程,绝对干货

Java 程序员 后端

SnappyData在美团酒店实时数据分析中的应用_QCon_焦向_InfoQ精选文章