写点什么

DolphinScheduler 正式毕业,成为 Apache 软件基金会顶级项目

2021 年 4 月 09 日

DolphinScheduler正式毕业,成为 Apache 软件基金会顶级项目

4 月 8 日,Apache 基金会官方宣布 Apache DolphinScheduler 项目正式毕业,成为 Apache 顶级项目。


据悉,2019 年 8 月 29 日,易观将 DolphinScheduler 捐赠给 Apache 基金会,并启动孵化。在导师的指导下,由孵化器管理委员会成员进行辅导和孵化。2021 年 2 月 19 日,DolphinScheduler 在 Apache 孵化器以 8 票支持一次性通过毕业提案投票。


3 月 18 日,Apache 董事会通过 DolphinScheduler 毕业决议,结束其 18 个月的孵化,正式确定 DolphinScheduler 成为 Apache 顶级项目。



目前,DolphinScheduler 已经是业界知名的分布式可视化大数据工作流调度系统,被联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等诸多公司使用。


ASF Board Member 和 DolphinScheduler Incubator Champion Sheng Wu 表示,“从开源到进入 Apache 孵化器,再到毕业成为独立 Apache 顶级项目,我很荣幸见证了 DolphinScheduler 的整个过程。在过去一年多的时间里,社区的同学们秉承开源精神,不断创新、不断进取;贡献者的不断加入让 DolphinScheduler 这个国人创造的大数据调度工具日趋完善,用户也越来越多,项目走上了良性循环发展之路。期待,它从孵化器毕业后,在其 PMC 的管理下继续前进,通过开源软件为社会、为公众创造更多价值。”


社区用户长安汽车数据平台工程师黄立称,“从 EasyScheduler 到 DolphinScheduler,我有幸见证了它的成长——越来越简单,越来越易用。DolphinScheduler 已经作为数据平台的基础组件服务于整个长安汽车车联网的离线开发场景,非常稳定。希望社区生态越来越完善,每个用户都能得益于社区,贡献社区!”


根据官网介绍,Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。



作为强大的分布式大数据工作流调度平台,Dolphin Scheduler 解决了复杂的任务依赖关系,且简化了数据任务编排的工作。Apache DolphinScheduler 整体有如下特征:


  • 云原生设计:支持多云、多数据中心的跨端调度,同时也支持 K8s、Docker 部署与扩展,性能上可以线性增长,在用户测试情况下最高支持 10 万的并行任务控制;

  • 高可用:去中心化的多 Master/Worker 的架构,可以自动任务平衡,自动高可用,确保任务在任何节点死机的情况下具有完整性完成整体调度;

  • 用户友好的界面:可视化的 DAG 图,包括子任务、条件调度、脚本管理、多租户等方便功能,并具有让运行任务实例与任务模板分开,让你的平台维护人员和数据科学家都有一个方便易用的开发和管理平台;

  • 支持多种数据场景:支持流数据处理、批数据处理,暂停、回复、多租户等,对于 spark、hive、MR、flink、clickhouse 等等平台都可以方便直接调用。


附:


DolphinScheduler 官网:

https://dolphinscheduler.apache.org/zh-cn/index.html


DolphinScheduler GitHub 地址:

https://github.com/apache/incubator-dolphinscheduler


DolphinScheduler Gitee 地址:

https://gitee.com/dolphinscheduler/DolphinScheduler

2021 年 4 月 09 日 11:382811
用户头像
万佳 InfoQ编辑

发布了 543 篇内容, 共 199.1 次阅读, 收获喜欢 1346 次。

关注

评论

发布
暂无评论
发现更多内容

GO训练营第9周——网络编程

Glowry

超简单的网站暗黑模式,它真的超简单!

HelloGitHub

前端

《2020年IT行业项目管理调查报告》重磅发布

禅道项目管理

开源 项目管理 项目 调查报告 互联网行业薪资

高频量化交易系统开发功能丨量化交易机器人系统开发详情

系统开发咨询1357O98O718

10.3|PPT教程|内容页之图文混排

青城

手机

ES_her0

28天写作 3月日更

2021 OS 大赛来了,为中国操作系统发展按下加速键

InfoQ写作平台官方

活动专区

@Component,@Service等注解是如何被解析的?

Java小咖秀

spring 面试 工作 注解 经验

「SaaS第一股」微盟集团财报业绩大涨,超预期财报揭示多元投资布局

ToB行业头条

SaaS 微盟

马特机器人系统开发(成品案例,快速上线)

系统开发咨询1357O98O718

产品经理训练营 Week9 学习心得

Mai

Nirvana NA公链 NAC公链的两面观

区块链第一资讯

后台产品导航栏原型设计小教程

lenka

3月日更

(28DW-S8-Day27) 销售流程重整

mtfelix

28天写作

华为云数据库GaussDB(for openGauss):初次见面,认识一下

华为云开发者社区

数据库 分布式 华为云 GaussDB(for openGauss) 开源数据库

算法攻关-最长公共子序列_1143

小诚信驿站

刘晓成 小诚信驿站 28天写作 算法攻关 最长公共子序列

Go训练营第5周——评论系统架构设计

Glowry

GO训练营第8周——分布式缓存与事务

Glowry

JVM - 类加载机制

insight

3月日更

Python基础之:Python的数据结构

程序那些事

Python 程序那些事 python数据结构

企业大数据实战:Kyuubi 与 Spark ThriftServer 的全面对比分析

网易数帆

大数据 spark Kyuubi Thrift HiveServer2

全球币系统开发案例(源码)

系统开发咨询1357O98O718

共筑“新基建” 京东云全面开启渠道合作伙伴招募计划

京东科技开发者

云服务

别人家的孩子!是如何用Adobe国际认证,设计自己的职业道路

Adobe国际认证

设计 Adobe国际认证 职业道路

Adobe国际认证!杜绝“带薪难过”,志在打破创意产业不平等

Adobe国际认证

Adobe国际认证 带薪难过 创意产业

产品经理训练营 Week9 作业

Mai

Python 的特殊变量 __name__

HoneyMoose

GO训练营第6、7周——可用性设计

Glowry

设计有意义的选择——再谈心流

Justin

心理学 28天写作 游戏设计

看完了进程同步与互斥机制,我终于彻底理解了 PV 操作

飞天小牛肉

Java 程序员 面试 操作系统

区块链追溯系统开发,区块链底层公共服务平台建设方案

WX13823153201

区块链追溯系统开发

2021年全国大学生计算机系统能力大赛操作系统设计赛 技术报告会

2021年全国大学生计算机系统能力大赛操作系统设计赛 技术报告会

DolphinScheduler正式毕业,成为 Apache 软件基金会顶级项目-InfoQ