写点什么

Apache Spark 2.4 和未来

2019 年 8 月 17 日

Apache Spark 2.4 和未来

QCon广州2019大会上,王耿亮讲师做了《Apache Spark 2.4 和未来》主题演讲,主要内容如下。


演讲简介


Apache Spark 2.4 带来了很多的新功能和优化提升, 包括 barrier execution mode、flexible streaming sink,、内置 Avro 数据格式支持、PySpark’s eager evaluation mode、Kubernetes 支持、高阶函数、Scala 2.12 支持等。


在接下来的 3.0 版本发布中, Spark 将支持自适应的 SQL 执行, 使用新的 Data Source API, 并且支持 Cypher 查询语言等。


听众受益


  1. 对 Apache Spark 2.4 的主要新功能有总体了解。

  2. 了解下一个版本的主要新功能。


讲师介绍


王耿亮


Databricks 研发工程师


Apache Spark 社区活跃贡献者, 主要的工作内容是 Spark SQL 内核的开发。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/guangzhou/schedule


2019 年 8 月 17 日 00:009429

评论

发布
暂无评论
  • 第三周作业

    1. 请在草稿纸上手写一个单例模式的实现代码,拍照提交作业。

    2020 年 6 月 24 日

  • 【架构训练 Week01 作业】Review

    开过中需分、I计架设、细计、编实、试多环,架设”是件发程,个节的环软开过中会及多角,品理U设师架师开工师测工师“构”是中一角,不定个门职,很中规的联公的统发,程员者发程承了构作和职,这序就架师色他一需他认,他做构作输架文,组大评。

    2020 年 6 月 10 日

  • Apache Flink 社区最新动向及 1.9 版本的功能展望

    本次分享介绍 Apache Flink 如何做到流批统一,以及在流批统一过程总遇到的困难和解决方案。

  • week 3

    Week 3

    2020 年 6 月 22 日

  • 华为 HarmonyOS 开源以及生态建设的那些事 | InfoQ 大咖说

    基础软件的开源面临着非常大的挑战,除了技术研发困难重重,开源生态和社区的建设更是难上加难。版本并正式开放源代码,备受开发者关注。

  • 十年前只想混一个 Apache 邮箱装逼,十年后却成了顶级项目创始人

    Kylin意味着我的一切

    2019 年 1 月 11 日

  • 预习 01 | 大数据技术发展史:大数据的前世今生

    在正式落地谈技术之前,我先花一些篇幅给你讲讲大数据技术的发展史,因为这对于你理解技术来说至关重要。

    2018 年 10 月 30 日

  • 区块链 3.0 时代: 大规模商业应用开发即将实现

    我国区块链技术在数字金融、社会治理领域的应用方面取得了一定进展,拥有良好基础,要紧密结合实体经济发展和社会福祉提升等切实需求,积极推进区块链和经济社会深度融合发展,给经济发展和社会进步带来新动力。

    2020 年 10 月 3 日

  • 如何使用 React Hooks 重构 HOC 组件?

    ReactHooks 为函数式组件提供了类似 Class 组件的 state ,以及生命周期。并且我们还可以将通用的逻辑提取出来,抽象成为自定义 Hooks ,在多个组件之间共享。今天我将会带你深入了解 ReactHooks ,介绍其中几个核心 API ,以及如何开发自定义 Hooks 并重构 HOC 组件。讲师介绍:颜宇,现在在尚德机构研发中心担任资深开发工程师,从事前端的开发和管理工作。曾经服务于 ADCC 、搜狗和阿里,具有 5 年 Java 和 8 年前端开发经验。在技术选型、系统架构设计、规范和流程控制等方面有着较为丰富的经验。

    2020 年 1 月 10 日

  • Spark 简介及生态介绍

    2020 年 11 月 2 日

  • 基于 Kubernetes 的 DevOps

    演讲嘉宾倪朋飞 Microsoft Azure Senior Software Engineer内容介绍随着 Kubernetes 的蓬勃发展,越来越多的应用迁移到了 Kubernetes 中。那么如何用 Kubernetes 管好这些应用?如何调整应用架构适应 Kubernetes 环境?又如何实施 CI/CD 简化这些流程呢?本次演讲将从 Kubernetes 的核心架构开始,介绍 Kubernetes 的设计理念,解析构建于 Kubernetes 之上的 DevOps 的生态特别是 CI/CD 工具链,并以 Azure 容器服务(AKS)为例介绍基于 Kubernetes 的 CI/CD 落地实践。最后还会介绍基于 Kubernetes 构建 DevOps 系统时会碰到的挑战,以及如何应用最佳实践解决这些问题。内容大纲 Kubernetes 核心架构简介; Kubernetes DevOps 生态; 基于 Azure 容器服务(AKS)的 CI/CD 实践; 挑战以及最佳实践。

    2019 年 1 月 2 日

  • TensorFlow 与 Jeff Dean 的那些事

    2019 年 1 月 7 日

发现更多内容

MySQL为Null会导致5个问题,个个致命!

王磊

MySQL MySQL使用

令数字起舞,让自然微笑:TECH4ALL的2020启示录

脑极体

Spring cloud Gateway(二) 一个Http请求的流程解析

Java 网关

华为18级大牛手撸七百多页MySQL数据库性能调优、架构设计手册!

Java成神之路

Java 程序员 架构 面试 编程语言

近些年有哪些口碑炸裂的项目管理工具?各具特色的项目管理工具我们该如何选择?

PingCode

项目管理 程序人生

阿里面试:Mybatis中方法和SQL是怎么关联起来的呢?

田维常

mybatis

分享一个普通程序员的“沪漂”六年的历程以及感想

程序员老猫

回忆录 经历 年终总结 沪漂 上海买房

写出一手烂代码的19条准则

Java架构师迁哥

AAAI 2021论文:利用深度元学习对城市销量进行预测(附论文下载)

京东智联云开发者

数据库 大数据 时序预测

实用流程工具,浅析LR.NET配置型工作流引擎

雯雯写代码

.net 工作流

Java中的常量

cdhqyj

Java

软件测试——网络协议知识(二)

测试人生路

软件测试 网络通信协议

测开之函数进阶· 第6篇《闭包》

清菡

测试开发

智慧警务大数据可视化分析平台建设解决方案

WX13823153201

送你一份迷你书,全面了解如何做好大促技术备战

京东智联云开发者

DevOps

LeetCode题解:239. 滑动窗口最大值,二叉堆,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

重新发现科技与人文的互动

脑极体

程序员:我非常熟练多线程!面试官:你熟悉个屁!

Java成神之路

Java 程序员 架构 面试 编程语言

智慧社区综合应用平台搭建,社区管理解决方案

t13823115967

智慧社区管理平台开发 智慧平安社区平台建设

技术干货 | 六分钟学会使用 HBuilder 引入构建 mPaaS 小程序

蚂蚁集团移动开发平台 mPaaS

小程序 uni-app mPaaS

通达同城快递设计方案

garlic

架构师训练营第 1 期

爆赞!P8架构师总结29篇多线程与高并发+设计模式核心笔记

Java架构追梦

Java 学习 架构 面试 多线程高并发

IPFS分布式存储矿机系统APP软件开发

开發I852946OIIO

系统开发

RPC Demo(二) 基于 Zookeeper 的服务发现

Java zookeeper RPC 服务发现

跨年巨作!13万字!腾讯高工纯手写“JDK源码笔记”直接带你飙向实战

比伯

Java 编程 架构 面试 计算机

差距不止一点点!Github星标51K的性能优化文档也太香了

程序员小毕

Java 程序员 性能优化 JVM 设计模式

爆赞!GitHub上收获Star数排名前10的Java项目爆赞!

Java成神之路

Java 程序员 架构 面试 编程语言

5G与4G的差别及应用

anyRTC开发者

人工智能 android AI 5G WebRTC

Java多线程编程核心技术

田维常

多线程

如何使用mock应对测试所需随机数据

华为云开发者社区

测试 数据 Mock

CKLC挖矿矿机系统开发案例介绍

系统开发咨询1357O98O718

CKLC挖矿矿机系统软件开发 CKLC挖矿矿机系统开发 CKLC挖矿矿机APP系统开发

NLP领域的2020年大事记及2021展望

NLP领域的2020年大事记及2021展望

Apache Spark 2.4 和未来-InfoQ