Flink 原理、实战与性能优化 (16):环境准备 2.4&2.4.1

阅读数:3 2019 年 12 月 11 日 20:42

Flink原理、实战与性能优化(16):环境准备 2.4&2.4.1

(运行 Scala REPL)

内容简介
这是一部以实战为导向,能指导读者零基础掌握 Flink 并快速完成进阶的著作,从功能、原理、实战和调优等 4 个维度循序渐进地讲解了如何利用 Flink 进行分布式流式应用开发。作者是该领域的资深专家,现就职于第四范式,曾就职于明略数据。
全书一共 10 章,逻辑上可以分为三个部分:
第一部分(第 1~2 章)
主要介绍了 Flink 的核心概念、特性、应用场景、基本架构,开发环境的搭建和配置,以及源代码的编译。
第二部分(第 3~9 章)
详细讲解了 Flink 的编程范式,各种编程接口的功能、应用场景和使用方法,以及核心模块和组件的原理和使用。
第三部分(第 10 章)
重点讲解了 Flink 的监控和优化,参数调优,以及对反压、Checkpoint 和内存的优化。

和 Spark Shell 一样,Flink 也提供了一套交互式解释器(Scala-Shell),用户能够在客户端命令行交互式编程,执行结果直接交互式地显示在客户端控制台上,不需要每次进行编译打包在集群环境中运行,目前该功能只支持使用 Scala 语言进行程序开发。另外需要注意的是在开发或者调试程序的过程中可以使用这种方式,但在正式的环境中则不建议使用。


(环境支持)

用户可以选择在不同的环境中启动 Scala Shell,目前支持 Local、Remote Cluster 和 Yarn Cluster 模式,具体命令可以参考以下说明:

  • 通过 start-scala-shell.sh 启动本地环境;
复制代码
bin/start-scala-shell.sh local
  • 可以启动远程集群环境,指定远程 Flink 集群的 hostname 和端口号;
复制代码
bin/start-scala-shell.sh remote <hostname> <portnumber>
  • 启动 Yarn 集群环境,环境中需要含有 hadoop 客户端配置文件;
复制代码
bin/start-scala-shell.sh yarn -n 2

Flink原理、实战与性能优化(16):环境准备 2.4&2.4.1

购书地址 https://item.jd.com/12518733.html?dist=jd

评论

发布