如何轻松和安全地构建的满足合规要求的智能产品,实现业务需求?4月26日,告诉你答案! 了解详情
写点什么

Spark SQL 在字节跳动数据仓库领域的优化实践

  • 2019 年 9 月 02 日
  • 本文字数:561 字

    阅读完需:约 2 分钟

Spark SQL 在字节跳动数据仓库领域的优化实践

Spark 在字节跳动内部扮演着重要角色。在数据仓库领域,Spark SQL 正在逐渐取代 Hive 成为主要的 ETL 计算引擎,另外它还是字节跳动内部重要的 ad-hoc 查询引擎。目前 Spark 每天处理百万亿级数据,单任务 Shuffle 数据量可超过 200TB。同时 Spark 与其它系统混合部署,因此性能与稳定性都是需要重点解决的问题。本次分享将会基于基础架构团队过往的工作成果,介绍字节跳动在提升基于 Spark SQL 的 ETL 稳定性以及优化 ad-hoc 查询的性能方面的实践。字节跳动数据仓库架构负责人郭俊即将在 QCon 全球软件开发大会(上海站)2019分享《Spark SQL 在字节跳动数据仓库领域的优化实践


听众受益

  1. 了解超大规模 Spark 集群在海量数据场景下的挑战和痛点;

  2. 了解字节跳动如何提升 Spark 作业的稳定性;

  3. 了解字节跳动如何将离线任务从 MapReduce 平滑迁移至 Spark;

  4. 了解字节跳动如何从逻辑计划优化,物理计划优化,以及运行时优化等不同维度优化 Spark SQL 的整体性能。


嘉宾介绍


郭俊,就职于字节跳动(上海)基础架构部,现负责数据仓库架构,包含以 Spark SQL 为代表的 OLAP 引擎优化,实时 ETL 系统优化,图计算技术探索与应用。曾就职于 Cisco 负责 Streaming MPP 系统研发,数据仓库架构设计与性能调优;曾在 eBay 负责大数据基础架构的优化工作 。


更多大数据分析的支撑技术的相关分享请访问 QCon 上海 2019 官网。


2019 年 9 月 02 日 00:005340

评论

发布
暂无评论
发现更多内容

2021Java面试笔试总结,jdk使用教程,Java高级工程师必备知识

Java 程序员 后端

2021年Java大厂面试分享,漫谈设计模式在Spring框架中的良好实践

Java 程序员 后端

2021年Java岗位BAT大厂面试题知识点小结,挥泪整理面经

Java 程序员 后端

2021年Java开发者跳槽指南,2021年我们程序员该如何进阶和规划

Java 程序员 后端

2021年Java面试心得,从理论到实践!

Java 程序员 后端

2021Java进阶者的新篇章,Java全栈知识体系

Java 程序员 后端

2021年上半年最接地气的Java面经,2021年Java常见面试题目

Java 程序员 后端

Activity重启引起的重复发送消息Bug分析

轻口味

android 10月日更

2021Java高级进阶学习资料,字节跳动Java高级工程师

Java 程序员 后端

2021Java高级面试题汇总解答,Java开发新手入门教程

Java 程序员 后端

2021大厂Java社招最全面试题,2021年Java开发者常见面试题

Java 程序员 后端

2021大厂Java面试真题集锦,京东健康Java面试

Java 程序员 后端

阿里亿级长连网关的云原生演进之路

阿里巴巴移动技术

云原生 架构设计 网关 客户端开发

月经逆行、体能差、雌激素影响心态……女性进入太空,要经历哪些科技伪命题?

脑极体

2021Java开发现状分析,看完这一篇你就懂了

Java 程序员 后端

2021大厂Java开发面试总结+解答,【一步教学,一步到位】

Java 程序员 后端

2021Java开发学习路线,两年Java开发经验

Java 程序员 后端

2021Java高级面试题总结,kafka面试常见问题

Java 程序员 后端

2021大厂Java开发面试总结+解答,Java基础笔试题大全带答案

Java 程序员 后端

2021Java精选面试实战总结整理,架构师必备

Java 程序员 后端

2021Java精选面试实战总结整理,讲的太透彻了

Java 程序员 后端

实时即未来!Flink Forward Asia 2021 议程正式上线!

Apache Flink

大数据 flink

2021一位Java中级程序员的跳槽面经,最全的BAT大厂面试题整理

Java 程序员 后端

2021大厂Java面试经历,Java技术面试常见问题

Java 程序员 后端

2021Java开发面试解答,数据库mysql教程视频教程,90%的人看完都说好

Java 程序员 后端

2021Java面试心得,shiro框架视频尚硅谷,最新Java开发进阶

Java 程序员 后端

2021Java高级面试题,极客时间vip年卡,看懂这些帮你轻松解决就业问题

Java 程序员 后端

【AI 全栈 SOTA 综述 】这些你都不知道,怎么敢说会 AI?【语音识别原理 + 实战】

声网Agora

AI 算法 音视频

2021Java者未来的出路在哪里,kafka从入门到精通

Java 程序员 后端

2021年Java常见面试题目,图灵学院诸葛,阿里P7大牛整理

Java 程序员 后端

2021Java网络编程总结篇,百度技术三面四面,最全Java知识总结

Java 程序员 后端

Spark SQL 在字节跳动数据仓库领域的优化实践_QCon_郭俊_InfoQ精选文章