硬核干货——《中小企业 AI 实战指南》免费下载! 了解详情
写点什么

DolphinScheduler 正式毕业,成为 Apache 软件基金会顶级项目

  • 2021-04-09
  • 本文字数:1218 字

    阅读完需:约 4 分钟

DolphinScheduler正式毕业,成为 Apache 软件基金会顶级项目

4 月 8 日,Apache 基金会官方宣布 Apache DolphinScheduler 项目正式毕业,成为 Apache 顶级项目。


据悉,2019 年 8 月 29 日,易观将 DolphinScheduler 捐赠给 Apache 基金会,并启动孵化。在导师的指导下,由孵化器管理委员会成员进行辅导和孵化。2021 年 2 月 19 日,DolphinScheduler 在 Apache 孵化器以 8 票支持一次性通过毕业提案投票。


3 月 18 日,Apache 董事会通过 DolphinScheduler 毕业决议,结束其 18 个月的孵化,正式确定 DolphinScheduler 成为 Apache 顶级项目。



目前,DolphinScheduler 已经是业界知名的分布式可视化大数据工作流调度系统,被联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等诸多公司使用。


ASF Board Member 和 DolphinScheduler Incubator Champion Sheng Wu 表示,“从开源到进入 Apache 孵化器,再到毕业成为独立 Apache 顶级项目,我很荣幸见证了 DolphinScheduler 的整个过程。在过去一年多的时间里,社区的同学们秉承开源精神,不断创新、不断进取;贡献者的不断加入让 DolphinScheduler 这个国人创造的大数据调度工具日趋完善,用户也越来越多,项目走上了良性循环发展之路。期待,它从孵化器毕业后,在其 PMC 的管理下继续前进,通过开源软件为社会、为公众创造更多价值。”


社区用户长安汽车数据平台工程师黄立称,“从 EasyScheduler 到 DolphinScheduler,我有幸见证了它的成长——越来越简单,越来越易用。DolphinScheduler 已经作为数据平台的基础组件服务于整个长安汽车车联网的离线开发场景,非常稳定。希望社区生态越来越完善,每个用户都能得益于社区,贡献社区!”


根据官网介绍,Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。



作为强大的分布式大数据工作流调度平台,Dolphin Scheduler 解决了复杂的任务依赖关系,且简化了数据任务编排的工作。Apache DolphinScheduler 整体有如下特征:


  • 云原生设计:支持多云、多数据中心的跨端调度,同时也支持 K8s、Docker 部署与扩展,性能上可以线性增长,在用户测试情况下最高支持 10 万的并行任务控制;

  • 高可用:去中心化的多 Master/Worker 的架构,可以自动任务平衡,自动高可用,确保任务在任何节点死机的情况下具有完整性完成整体调度;

  • 用户友好的界面:可视化的 DAG 图,包括子任务、条件调度、脚本管理、多租户等方便功能,并具有让运行任务实例与任务模板分开,让你的平台维护人员和数据科学家都有一个方便易用的开发和管理平台;

  • 支持多种数据场景:支持流数据处理、批数据处理,暂停、回复、多租户等,对于 spark、hive、MR、flink、clickhouse 等等平台都可以方便直接调用。


附:


DolphinScheduler 官网:

https://dolphinscheduler.apache.org/zh-cn/index.html


DolphinScheduler GitHub 地址:

https://github.com/apache/incubator-dolphinscheduler


DolphinScheduler Gitee 地址:

https://gitee.com/dolphinscheduler/DolphinScheduler

2021-04-09 11:384637
用户头像
万佳 前InfoQ编辑

发布了 677 篇内容, 共 384.6 次阅读, 收获喜欢 1805 次。

关注

评论

发布
暂无评论
发现更多内容

供配电学习笔记 day1

万里无云万里天

电力 工厂运维

淘宝/天猫商品详情API接口与电商数据仓库的实时同步实践

技术冰糖葫芦

API Explorer API 文档 API 协议 pinduoduo API

讯飞晓医APP再升级!上线数字健康空间,更懂健康更懂你

EVANjesse

智慧医疗 科大讯飞 AIGC 讯飞星火 医疗健康

2023首届服务韧性工程(SRE)论坛分会场:聚焦SRE的实践和应用

雅菲奥朗

人工智能 运维 可观测性 SRE

服务韧性工程(SRE)论坛演讲实录 | 浙江移动:运营商ICT项目SRE运维的探索与实践

雅菲奥朗

运维 SRE

托寄物智能识别——大模型在京东快递物流场景中的应用与落地

京东科技开发者

什么是 Flink SQL 解决不了的问题?

京东科技开发者

AI绘图实践-用人工智能生图助力618大促

京东科技开发者

word一键生成ppt!这2款AI转换工具值得推荐!

彭宏豪95

人工智能 职场 PPT AIGC AI生成PPT

非营利组织的数据治理之路

郑州埃文科技

数据治理

VMware ESXi 8.0U3 macOS Unlocker & OEM BIOS Marvell AQC 网卡驱动定制版

sysin

macos esxi OEM BIOS aqc

What's new in PikiwiDB(Pika) v4.0.0

apache/dubbo-go

服务韧性工程(SRE)论坛演讲实录 | 基于可观测性构建SRE运维体系经验分享

雅菲奥朗

运维 可观测性 SRE

2023年首届服务韧性工程(SRE)论坛成功举办

雅菲奥朗

人工智能 云计算 大数据 运维 SRE

助你升职加薪的浣熊表哥

石云升

数据分析 数据可视化 办公小浣熊

华为云发起,openGemini正式成为CNCF官方项目!

华为云开源

云原生 时序数据库 cncf openGemini 华为云开源

你必须知道的职场晋升规则

老张

职场成长 职场晋升

Go 语言性能优化技巧

左诗右码

Go

Go语言设计模式:使用Option模式简化类的初始化

左诗右码

Go

倒计时 2 周!CommunityOverCode Asia 2024 IoT & Community 专题部分

Greptime 格睿科技

Apache 数据库 IoT 社区 apache 社区

AI视频创作一条龙!达摩院“寻光”平台炸场WAIC,突破可控编辑难题

Openlab_cosmoplat

人工智能 AI 视频

2023首届服务韧性工程(SRE)论坛分会场:数据中心运维的新发展

雅菲奥朗

人工智能 大数据 运维 SRE

服务韧性工程(SRE)论坛演讲实录 | 雅菲奥朗:SRE是数字化转型时代基础设施能力

雅菲奥朗

运维 可观测性 SRE #DevOps

DolphinScheduler正式毕业,成为 Apache 软件基金会顶级项目_开源_万佳_InfoQ精选文章