内容介绍

随着 Kubernetes 的成熟,越来越多的大数据用户希望将 Spark 作业运行在 Kubernetes 之上。Spark 从 2.3 版本开始已经可以运行在 Kubernetes 之上,然而目前 Kubernetes 默认调度器对于大数据场景的支持还有很多不足,例如高并发场景,动态集群资源共享场景,亲和调度场景等。Volcano 针对于这些大数据特有场景进行了定制化开发。提供了 Pod delay creation,Queue,Zone aware scheduling 等,获得了很好的功能体验和性能提升。

在本次演讲中将介绍 Kubernetes 运行大数据工作负载的探索和实践,以及 Volcano 针对大数据工作负载的优化,并演示相应的功能和性能提升等。

内容大纲:

1、Kubernetes 运行大数据作业的现状

2、Kubernetes 运行大数据的痛点

3、Volcano 针对大数据的方案设计

4、性能方面的提升

5、后续的改进计划

听众受益:

1、如何在社区中运营一个开源项目

2、如何使用 Kubernetes 来运行大数据

3、如何优化 Kuberentes 来支持 计算类任务

评论

发布
暂无评论