Flink 原理、实战与性能优化 (1):Apache Flink 介绍 1&1.1

阅读数:15 2019 年 12 月 11 日 20:38

Flink原理、实战与性能优化(1):Apache Flink介绍 1&1.1

(Apache Flink 介绍)

内容简介
这是一部以实战为导向,能指导读者零基础掌握 Flink 并快速完成进阶的著作,从功能、原理、实战和调优等 4 个维度循序渐进地讲解了如何利用 Flink 进行分布式流式应用开发。作者是该领域的资深专家,现就职于第四范式,曾就职于明略数据。
全书一共 10 章,逻辑上可以分为三个部分:
第一部分(第 1~2 章)
主要介绍了 Flink 的核心概念、特性、应用场景、基本架构,开发环境的搭建和配置,以及源代码的编译。
第二部分(第 3~9 章)
详细讲解了 Flink 的编程范式,各种编程接口的功能、应用场景和使用方法,以及核心模块和组件的原理和使用。
第三部分(第 10 章)
重点讲解了 Flink 的监控和优化,参数调优,以及对反压、Checkpoint 和内存的优化。

本章对 Apache Flink 从多个方面进行介绍,让读者对 Flink 这项分布式处理技术能够有初步的了解。1.1 节主要介绍了 Flink 的由来及其发展历史,帮助读者从历史的角度了解 Flink 这项技术发展的过程。1.2 节重点介绍了 Flink 能够支持的各种实际业务场景、Flink 所具备的主要特性、Flink 组成部分及其基本概念等内容,最后在 1.4 节中介绍了 Flink 的基本架构以及主要组成部分。


(Apache Flink 是什么)

在当前数据量激增的时代,各种业务场景都有大量的业务数据产生,对于这些不断产生的数据应该如何进行有效的处理,成为当下大多数公司所面临的问题。随着雅虎对 Hadoop 的开源,越来越多的大数据处理技术开始涌入人们的视线,例如目前比较流行的大数据处理引擎 Apache Spark,基本上已经取代了 MapReduce 成为当前大数据处理的标准。但随着数据的不断增长,新技术的不断发展,人们逐渐意识到对实时数据处理的重要性。相对于传统的数据处理模式,流式数据处理有着更高的处理效率和成本控制能力。Apache Flink 就是近年来在开源社区不断发展的技术中的能够同时支持高吞吐、低延迟、高性能的分布式处理框架。

在 2010 年至 2014 年间,由柏林工业大学、柏林洪堡大学和哈索普拉特纳研究所联合发起名为“Stratosphere: Information Management on the Cloud”研究项目,该项目在当时的社区逐渐具有了一定的社区知名度。2014 年 4 月,Stratosphere 代码被贡献给 Apache 软件基金会,成为 Apache 基金会孵化器项目。初期参与该项目的核心成员均是 Stratosphere 曾经的核心成员,之后团队的大部分创始成员离开学校,共同创办了一家名叫 Data Artisans 的公司,其主要业务便是将 Stratosphere,也就是之后的 Flink 实现商业化。在项目孵化期间,项目 Stratosphere 改名为 Flink。Flink 在德语中是快速和灵敏的意思,用来体现流式数据处理器速度快和灵活性强等特点,同时使用棕红色松鼠图案作为 Flink 项目的 Logo,也是为了突出松鼠灵活快速的特点,由此,Flink 正式进入社区开发者的视线。

2014 年 12 月,该项目成为 Apache 软件基金会顶级项目,从 2015 年 9 月发布第一个稳定版本 0.9,到目前撰写本书期间已经发布到 1.7 的版本,更多的社区开发成员逐步加入,现在 Flink 在全球范围内拥有 350 多位开发人员,不断有新的特性发布。同时在全球范围内,越来越多的公司开始使用 Flink,在国内比较出名的互联网公司如阿里巴巴、美团、滴滴等,都在大规模使用 Flink 作为企业的分布式大数据处理引擎。

Flink 近年来逐步被人们所熟知,不仅是因为 Flink 提供同时支持高吞吐、低延迟和 exactly-once 语义的实时计算能力,同时 Flink 还提供了基于流式计算引擎处理批量数据的计算能力,真正意义上实现了批流统一,同时随着阿里对 Blink 的开源,极大地增强了 Flink 对批计算领域的支持。众多优秀的特性,使得 Flink 成为开源大数据数据处理框架中的一颗新星,随着国内社区不断推动,越来越多的国内公司开始选择使用 Flink 作为实时数据处理技术。在不久的将来,Flink 也将会成为企业内部主流的数据处理框架,最终成为下一代大数据处理的标准。

Flink原理、实战与性能优化(1):Apache Flink介绍 1&1.1

购书地址 https://item.jd.com/12518733.html?dist=jd

评论

发布