Flink 原理、实战与性能优化 (10):环境准备 2.1

阅读数:6 2019 年 12 月 11 日 20:40

Flink原理、实战与性能优化(10):环境准备 2.1

(运行环境介绍)

内容简介
这是一部以实战为导向,能指导读者零基础掌握 Flink 并快速完成进阶的著作,从功能、原理、实战和调优等 4 个维度循序渐进地讲解了如何利用 Flink 进行分布式流式应用开发。作者是该领域的资深专家,现就职于第四范式,曾就职于明略数据。
全书一共 10 章,逻辑上可以分为三个部分:
第一部分(第 1~2 章)
主要介绍了 Flink 的核心概念、特性、应用场景、基本架构,开发环境的搭建和配置,以及源代码的编译。
第二部分(第 3~9 章)
详细讲解了 Flink 的编程范式,各种编程接口的功能、应用场景和使用方法,以及核心模块和组件的原理和使用。
第三部分(第 10 章)
重点讲解了 Flink 的监控和优化,参数调优,以及对反压、Checkpoint 和内存的优化。

Flink 执行环境主要分为本地环境和集群环境,本地环境主要为了方便用户编写和调试代码使用,而集群环境则被用于正式环境中,可以借助 Hadoop Yarn 或 Mesos 等不同的资源管理器部署自己的应用。

环境依赖

(1)JDK 环境

Flink 核心模块均使用 Java 开发,所以运行环境需要依赖 JDK,本书暂不详细介绍 JDK 安装过程,用户可以根据官方教程自行安装,其中包括 Windows 和 Linux 环境安装,需要注意的是 JDK 版本需要保证在 1.8 以上。

(2)Scala 环境

如果用户选择使用 Scala 作为 Flink 应用开发语言,则需要安装 Scala 执行环境,Scala 环境可以通过本地安装 Scala 执行环境,也可以通过 Maven 依赖 Scala-lib 来引入。

(3)Maven 编译环境

Flink 的源代码目前仅支持通过 Maven 进行编译,所以如果需要对源代码进行编译,或通过 IDE 开发 Flink Application,则建议使用 Maven 作为项目工程编译方式。Maven 的具体安装方法这里不再赘述。

需要注意的是,Flink 程序需要 Maven 的版本在 3.0.4 及以上,否则项目编译可能会出问题,建议用户根据要求进行环境的搭建。

(4)Hadoop 环境

对于执行在 Hadoop Yarn 资源管理器的 Flink 应用,则需要配置对应的 Hadoop 环境参数。目前 Flink 官方提供的版本支持 hadoop2.4、2.6、2.7、2.8 等主要版本,所以用户可以在这些版本的 Hadoop Yarn 中直接运行自己的 Flink 应用,而不需要考虑兼容性的问题。

Flink原理、实战与性能优化(10):环境准备 2.1

购书地址 https://item.jd.com/12518733.html?dist=jd

评论

发布