写点什么

DolphinScheduler 正式毕业,成为 Apache 软件基金会顶级项目

  • 2021-04-09
  • 本文字数:1218 字

    阅读完需:约 4 分钟

DolphinScheduler正式毕业,成为 Apache 软件基金会顶级项目

4 月 8 日,Apache 基金会官方宣布 Apache DolphinScheduler 项目正式毕业,成为 Apache 顶级项目。


据悉,2019 年 8 月 29 日,易观将 DolphinScheduler 捐赠给 Apache 基金会,并启动孵化。在导师的指导下,由孵化器管理委员会成员进行辅导和孵化。2021 年 2 月 19 日,DolphinScheduler 在 Apache 孵化器以 8 票支持一次性通过毕业提案投票。


3 月 18 日,Apache 董事会通过 DolphinScheduler 毕业决议,结束其 18 个月的孵化,正式确定 DolphinScheduler 成为 Apache 顶级项目。



目前,DolphinScheduler 已经是业界知名的分布式可视化大数据工作流调度系统,被联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等诸多公司使用。


ASF Board Member 和 DolphinScheduler Incubator Champion Sheng Wu 表示,“从开源到进入 Apache 孵化器,再到毕业成为独立 Apache 顶级项目,我很荣幸见证了 DolphinScheduler 的整个过程。在过去一年多的时间里,社区的同学们秉承开源精神,不断创新、不断进取;贡献者的不断加入让 DolphinScheduler 这个国人创造的大数据调度工具日趋完善,用户也越来越多,项目走上了良性循环发展之路。期待,它从孵化器毕业后,在其 PMC 的管理下继续前进,通过开源软件为社会、为公众创造更多价值。”


社区用户长安汽车数据平台工程师黄立称,“从 EasyScheduler 到 DolphinScheduler,我有幸见证了它的成长——越来越简单,越来越易用。DolphinScheduler 已经作为数据平台的基础组件服务于整个长安汽车车联网的离线开发场景,非常稳定。希望社区生态越来越完善,每个用户都能得益于社区,贡献社区!”


根据官网介绍,Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。



作为强大的分布式大数据工作流调度平台,Dolphin Scheduler 解决了复杂的任务依赖关系,且简化了数据任务编排的工作。Apache DolphinScheduler 整体有如下特征:


  • 云原生设计:支持多云、多数据中心的跨端调度,同时也支持 K8s、Docker 部署与扩展,性能上可以线性增长,在用户测试情况下最高支持 10 万的并行任务控制;

  • 高可用:去中心化的多 Master/Worker 的架构,可以自动任务平衡,自动高可用,确保任务在任何节点死机的情况下具有完整性完成整体调度;

  • 用户友好的界面:可视化的 DAG 图,包括子任务、条件调度、脚本管理、多租户等方便功能,并具有让运行任务实例与任务模板分开,让你的平台维护人员和数据科学家都有一个方便易用的开发和管理平台;

  • 支持多种数据场景:支持流数据处理、批数据处理,暂停、回复、多租户等,对于 spark、hive、MR、flink、clickhouse 等等平台都可以方便直接调用。


附:


DolphinScheduler 官网:

https://dolphinscheduler.apache.org/zh-cn/index.html


DolphinScheduler GitHub 地址:

https://github.com/apache/incubator-dolphinscheduler


DolphinScheduler Gitee 地址:

https://gitee.com/dolphinscheduler/DolphinScheduler

2021-04-09 11:384521
用户头像
万佳 前InfoQ编辑

发布了 677 篇内容, 共 374.8 次阅读, 收获喜欢 1805 次。

关注

评论

发布
暂无评论
发现更多内容

OS命令--shell中数组的操作

cloudcoder

数组 Shell 循环引用

极限编程技术实践

Teobler

敏捷 敏捷开发 TDD 重构 极限编程

程序员专属“灯谜”大挑战,答对六题算你赢!

京东科技开发者

编程语言 集群

构建一套适合微服务的高可用架构

环信

QA视角看数据匿名化

BY林子

数据安全 测试右移 用户数据 数据脱敏

EEPROM CAT24CXX实现分页读、写数据

不脱发的程序猿

28天写作 CAT24C08 EEPROM 嵌入式软件 单片机

树莓派上的温湿度环境监控

冯骐

运维 树莓派 物联网 监控告警

使用 pyVmomi 采集 vSphere 监控指标

冯骐

Python 运维 监控 Open-Falcon vpshere

【LeetCode】区域和检索 - 数组不可变Java题解

Albert

算法 LeetCode 28天写作

元宵节元宵钱,不买元宵买云资源! | 2核4G低至0.79元/天

京东科技开发者

云主机 云服务器 云存储 云硬盘

MongoDB 在评论中台的实践

vivo互联网技术

数据库 mongodb 分布式 集群

程序员之禅(一)

每天读本书

读书笔记

android程序开发!2021Android精选面试实战总结整理,大厂直通车!

欢喜学安卓

android 程序员 面试 移动开发

MySQL字段默认值设置详解

Simon

MySQL 数据库

搭建一个 802.1x 的 web 测试服务

冯骐

网络 监控系统 Open-Falcon radius eduroam

Wiki.js 配置 LDAP 认证

东风微鸣

wiki

海豚调度dolphinscheduler SQL脚本初始化流程

cloudcoder

海豚调度 调度引擎 分布式任务调度

看完你就明白什么是图神经网络

华为云开发者联盟

神经网络 深度学习 节点 图神经网络 图结构

国产芯片WiFi物联网智能插座—电耗采集功能设计

不脱发的程序猿

28天写作 国产芯片 电耗检测 电压电流 华大MCU

Git学习游戏化,从Learn Git Branching 开始

程序老王

git 学习 学习方法 git 学习

LeetCode题解:123. 买卖股票的最佳时机 III,动态规划,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

Linux入门篇 —— Linux 磁盘管理之磁盘理论篇

若尘

Linux linux编程 磁盘

GaussDB(DWS):非侵入式备份及其在NBU上的应用

华为云开发者联盟

架构 GaussDB 集群 备份 NBU

刷屏洗脑的“吗咿呀嘿”,到底是个啥?

架构精进之路

商业模式 28天写作 3月日更

树莓派上的家庭监控中心

冯骐

运维 树莓派 监控系统 Open-Falcon 物联网,

技术案例 | 云原生微服务落地难?百度自用CRM这样做

百度开发者中心

微服务 CRM #百度智能云#

华为云举办AI经典论文复现活动,打造领先AI开发者学习社区

华为云开发者联盟

AI 华为云 modelarts 论文 AI Gallery

华为云原生数据仓库GaussDB(DWS)深度技术解读:融、快、大、稳、易

华为云开发者联盟

数据库 云原生 华为云 GaussDB 数仓

工作两三年了,整不明白架构图都画啥?

小傅哥

Java 后端 小傅哥 架构设计 画架构图

山东青岛推进平安小区建设!源中瑞智慧社区平台解决方案

源中瑞-龙先生

解决方案 山东 源中瑞 青岛 智慧社区

从0到1建立数据分析指标体系底层逻辑

小飞象@木木自由

数据分析 数据指标 数据分析体系

DolphinScheduler正式毕业,成为 Apache 软件基金会顶级项目_开源_万佳_InfoQ精选文章