写点什么

DolphinScheduler 正式毕业,成为 Apache 软件基金会顶级项目

  • 2021 年 4 月 09 日
  • 本文字数:1218 字

    阅读完需:约 4 分钟

DolphinScheduler正式毕业,成为 Apache 软件基金会顶级项目

4 月 8 日,Apache 基金会官方宣布 Apache DolphinScheduler 项目正式毕业,成为 Apache 顶级项目。


据悉,2019 年 8 月 29 日,易观将 DolphinScheduler 捐赠给 Apache 基金会,并启动孵化。在导师的指导下,由孵化器管理委员会成员进行辅导和孵化。2021 年 2 月 19 日,DolphinScheduler 在 Apache 孵化器以 8 票支持一次性通过毕业提案投票。


3 月 18 日,Apache 董事会通过 DolphinScheduler 毕业决议,结束其 18 个月的孵化,正式确定 DolphinScheduler 成为 Apache 顶级项目。



目前,DolphinScheduler 已经是业界知名的分布式可视化大数据工作流调度系统,被联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等诸多公司使用。


ASF Board Member 和 DolphinScheduler Incubator Champion Sheng Wu 表示,“从开源到进入 Apache 孵化器,再到毕业成为独立 Apache 顶级项目,我很荣幸见证了 DolphinScheduler 的整个过程。在过去一年多的时间里,社区的同学们秉承开源精神,不断创新、不断进取;贡献者的不断加入让 DolphinScheduler 这个国人创造的大数据调度工具日趋完善,用户也越来越多,项目走上了良性循环发展之路。期待,它从孵化器毕业后,在其 PMC 的管理下继续前进,通过开源软件为社会、为公众创造更多价值。”


社区用户长安汽车数据平台工程师黄立称,“从 EasyScheduler 到 DolphinScheduler,我有幸见证了它的成长——越来越简单,越来越易用。DolphinScheduler 已经作为数据平台的基础组件服务于整个长安汽车车联网的离线开发场景,非常稳定。希望社区生态越来越完善,每个用户都能得益于社区,贡献社区!”


根据官网介绍,Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。



作为强大的分布式大数据工作流调度平台,Dolphin Scheduler 解决了复杂的任务依赖关系,且简化了数据任务编排的工作。Apache DolphinScheduler 整体有如下特征:


  • 云原生设计:支持多云、多数据中心的跨端调度,同时也支持 K8s、Docker 部署与扩展,性能上可以线性增长,在用户测试情况下最高支持 10 万的并行任务控制;

  • 高可用:去中心化的多 Master/Worker 的架构,可以自动任务平衡,自动高可用,确保任务在任何节点死机的情况下具有完整性完成整体调度;

  • 用户友好的界面:可视化的 DAG 图,包括子任务、条件调度、脚本管理、多租户等方便功能,并具有让运行任务实例与任务模板分开,让你的平台维护人员和数据科学家都有一个方便易用的开发和管理平台;

  • 支持多种数据场景:支持流数据处理、批数据处理,暂停、回复、多租户等,对于 spark、hive、MR、flink、clickhouse 等等平台都可以方便直接调用。


附:


DolphinScheduler 官网:

https://dolphinscheduler.apache.org/zh-cn/index.html


DolphinScheduler GitHub 地址:

https://github.com/apache/incubator-dolphinscheduler


DolphinScheduler Gitee 地址:

https://gitee.com/dolphinscheduler/DolphinScheduler

2021 年 4 月 09 日 11:383383
用户头像
万佳 InfoQ编辑

发布了 633 篇内容, 共 245.0 次阅读, 收获喜欢 1635 次。

关注

评论

发布
暂无评论
发现更多内容

TcaplusDB君 · 行业新闻汇编(8月11日)

TcaplusDB

数据库 nosql TcaplusDB

Linux内核内存管理:地址转换和MMU

Linux服务器开发

操作系统 内存管理 Linux内核 内核开发 地址转换

TcaplusDB君 · 行业新闻汇编(8月8日)

TcaplusDB

数据库 nosql TcaplusDB

TcaplusDB君 · 行业新闻汇编(8月)

TcaplusDB

数据库 nosql TcaplusDB

为什么Kafka的数据不写了?

BUG侦探

DNS gopack Linux操作系统

TcaplusDB X 光与夜之恋|你的恋爱我来守护

TcaplusDB

数据库 nosql TcaplusDB

PyFlink 开发环境利器:Zeppelin Notebook

Apache Flink

Zeppelin notebook pyflink 开发环境利器

如何搭建SpringcloudAlibaba基础环境(一)

燃着的半支烟

Java 微服务

TcaplusDB君 · 行业新闻汇编(8月7日)

TcaplusDB

数据库 nosql TcaplusDB

TcaplusDB X 光与夜之恋,来谈一场高沉浸式的恋爱吧

TcaplusDB

数据库 nosql TcaplusDB

现在动手玩转腾讯游戏核心数据库!TcaplusDB华东客户Hands-on活动

TcaplusDB

数据库 nosql TcaplusDB

腾讯云数据库TcaplusDB十年耕耘,小苗终成大树

TcaplusDB

数据库 nosql TcaplusDB

TcaplusDB君 · 行业新闻汇编(8月10号)

TcaplusDB

数据库 nosql TcaplusDB

关于数据库应用的一些思考

石云升

数据库 8月日更

腾讯云TcaplusDB携手《穿越火线》亮相IGS大会腾讯云游戏&新文娱分论坛

TcaplusDB

数据库 nosql TcaplusDB

【TcaplusDB君】腾讯云数据库TcaplusDB存储引擎的优势

TcaplusDB

数据库 nosql TcaplusDB

如何短时间突击 Java 通过面试?

Java架构师迁哥

PyFlink 开发环境利器:Zeppelin Notebook

阿里云大数据AI技术

快手基于 Flink 构建实时数仓场景化实践

Apache Flink

flink 解决方案 实时数仓架构 快手

TcaplusDB X 黎明觉醒,探索不止,黎明将至

TcaplusDB

数据库 nosql TcaplusDB

又上新台阶!腾讯云TcaplusDB &与华为鲲鹏完成兼容性认证

TcaplusDB

数据库 nosql TcaplusDB

腾讯云TcaplusDB X 大主宰·大千世界|万道争锋,独领其风

TcaplusDB

数据库 nosql TcaplusDB

如何利用FL Studio编曲--入门级

懒得勤快

TcaplusDB君 · 行业新闻汇编(8月12日)

TcaplusDB

数据库 nosql TcaplusDB

TcaplusDB君 · 行业新闻汇编(8月9日)

TcaplusDB

数据库 nosql TcaplusDB

TcaplusDB x 和平精英 ,两周年生日快乐!

TcaplusDB

数据库 nosql TcaplusDB

腾讯云TcaplusDB荣获全球云计算大会优秀解决方案奖!

TcaplusDB

数据库 nosql TcaplusDB

为联邦学习互信提供“技术解”,星云Clustar荣获FTL-IJCAI 21 最佳应用论文奖

星云Clustar

联邦学习 论文 IJCAI 纵向联邦学习 联邦学习互信

服务全球用户,EMQ X Cloud 新增欧洲部署支持

EMQ映云科技

服务器 mqtt 部署与维护 Cloud emq

【TcaplusDB知识君】腾讯云TcaplusDB数据库的技术原理

TcaplusDB

数据库 nosql TcaplusDB

SmartNews:基于 Flink 加速 Hive 日表生产的实践

Apache Flink

flink hive airflow

基于英特尔x86平台构建AI软件生态系统

基于英特尔x86平台构建AI软件生态系统

DolphinScheduler正式毕业,成为 Apache 软件基金会顶级项目-InfoQ