AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

DolphinScheduler 正式毕业,成为 Apache 软件基金会顶级项目

  • 2021-04-09
  • 本文字数:1218 字

    阅读完需:约 4 分钟

DolphinScheduler正式毕业,成为 Apache 软件基金会顶级项目

4 月 8 日,Apache 基金会官方宣布 Apache DolphinScheduler 项目正式毕业,成为 Apache 顶级项目。


据悉,2019 年 8 月 29 日,易观将 DolphinScheduler 捐赠给 Apache 基金会,并启动孵化。在导师的指导下,由孵化器管理委员会成员进行辅导和孵化。2021 年 2 月 19 日,DolphinScheduler 在 Apache 孵化器以 8 票支持一次性通过毕业提案投票。


3 月 18 日,Apache 董事会通过 DolphinScheduler 毕业决议,结束其 18 个月的孵化,正式确定 DolphinScheduler 成为 Apache 顶级项目。



目前,DolphinScheduler 已经是业界知名的分布式可视化大数据工作流调度系统,被联通、IDG、IBM、京东物流、联想、新东方、诺基亚、360、顺丰和腾讯等诸多公司使用。


ASF Board Member 和 DolphinScheduler Incubator Champion Sheng Wu 表示,“从开源到进入 Apache 孵化器,再到毕业成为独立 Apache 顶级项目,我很荣幸见证了 DolphinScheduler 的整个过程。在过去一年多的时间里,社区的同学们秉承开源精神,不断创新、不断进取;贡献者的不断加入让 DolphinScheduler 这个国人创造的大数据调度工具日趋完善,用户也越来越多,项目走上了良性循环发展之路。期待,它从孵化器毕业后,在其 PMC 的管理下继续前进,通过开源软件为社会、为公众创造更多价值。”


社区用户长安汽车数据平台工程师黄立称,“从 EasyScheduler 到 DolphinScheduler,我有幸见证了它的成长——越来越简单,越来越易用。DolphinScheduler 已经作为数据平台的基础组件服务于整个长安汽车车联网的离线开发场景,非常稳定。希望社区生态越来越完善,每个用户都能得益于社区,贡献社区!”


根据官网介绍,Apache DolphinScheduler 是一个分布式去中心化,易扩展的可视化 DAG 工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用。



作为强大的分布式大数据工作流调度平台,Dolphin Scheduler 解决了复杂的任务依赖关系,且简化了数据任务编排的工作。Apache DolphinScheduler 整体有如下特征:


  • 云原生设计:支持多云、多数据中心的跨端调度,同时也支持 K8s、Docker 部署与扩展,性能上可以线性增长,在用户测试情况下最高支持 10 万的并行任务控制;

  • 高可用:去中心化的多 Master/Worker 的架构,可以自动任务平衡,自动高可用,确保任务在任何节点死机的情况下具有完整性完成整体调度;

  • 用户友好的界面:可视化的 DAG 图,包括子任务、条件调度、脚本管理、多租户等方便功能,并具有让运行任务实例与任务模板分开,让你的平台维护人员和数据科学家都有一个方便易用的开发和管理平台;

  • 支持多种数据场景:支持流数据处理、批数据处理,暂停、回复、多租户等,对于 spark、hive、MR、flink、clickhouse 等等平台都可以方便直接调用。


附:


DolphinScheduler 官网:

https://dolphinscheduler.apache.org/zh-cn/index.html


DolphinScheduler GitHub 地址:

https://github.com/apache/incubator-dolphinscheduler


DolphinScheduler Gitee 地址:

https://gitee.com/dolphinscheduler/DolphinScheduler

2021-04-09 11:384528
用户头像
万佳 前InfoQ编辑

发布了 677 篇内容, 共 375.3 次阅读, 收获喜欢 1805 次。

关注

评论

发布
暂无评论
发现更多内容

前端培训学习前景怎么样

小谷哥

学习java开发技术应该如何入手

小谷哥

Verilog 时延与过程结构

芯动大师

Verilog语法 Verilog延时 Verilog过程结构

对于Getaverse,灵魂绑定和去中心化身份是什么?

Geek_Web3

Web3 Daily 去中心化信任 #区块链# did

iQOO11 国内安卓首发背景音过滤,人声更突显,通话更隐私

极客天地

YMatrix:超融合数据库如何在泵车智能运维场景实现 One for All 价值

YMatrix 超融合数据库

智能运维 三一重工 超融合数据库 智能化运维 YMatrix

在成都培训web前端哪有比较好的机构

小谷哥

云计算的六大核心技术,你了解多少?

Finovy Cloud

云技术 云渲染

喜报 | 秒云获评2022(第二届)“金信通”金融科技创新应用优秀案例

MIAOYUN

金融科技 解决方案 信创

重磅 | 九科信息入选创新型中小企业(原深圳市专精特新企业)

九科Ninetech

北京同仁堂两大名牌品种亮相帝都

联营汇聚

【前端相关】服务端渲染和客户端渲染的比较

No8g攻城狮

CSS css3 前端 js 前端框架

中台+低代码 企业数字化转型新范式

力软低代码开发平台

flutter系列之:如丝般顺滑的SliverAppBar

程序那些事

flutter 程序那些事

FLStudio21.0.0水果官方中文版发布功能介绍

茶色酒

FLStudio21.0.0

卡塔尔世界杯出现了半自动越位识别技术、动作轨迹捕捉等黑科技。

汀丶人工智能

12月日更 12月月更 世界杯黑科技

Flink核心组件

穿过生命散发芬芳

flink 12月月更

华为侯金龙:能源流与信息流融合,共建绿色低碳城市

极客天地

JDK自带命令优化

@下一站

代码优化 12月日更 12月月更 jvm优化 java程序优化

时序数据库破局开放探讨

YMatrix 超融合数据库

物联网 时序数据库 超融合数据库 数据库架构选型 YMatrix

Java开发技术很难吗?

小谷哥

演讲实录|OpenMLDB 与阿里云 MaxCompute 生态集成

第四范式开发者社区

人工智能 数据库 开源 时序数据库 特征

2022-12-12:有n个城市,城市从0到n-1进行编号。小美最初住在k号城市中 在接下来的m天里,小美每天会收到一个任务 她可以选择完成当天的任务或者放弃该任务 第i天的任务需要在ci号城市完成,

福大大架构师每日一题

算法 rust 福大大

React 之 Context 的变迁与背后实现

冴羽

JavaScript 源码分析 前端 前端框架 React

KCL - 让 Kubernetes 资源清单管理更容易

Peefy

编程 Serverless Kubernetes #开源 #DevOps

Java培训一般需要多长时间?

小谷哥

数据生态第四弹 | OpenMLDB Hive Connector,架构起数据仓库到特征工程的生态桥梁

第四范式开发者社区

人工智能 机器学习 数据库 开源 特征

RocketMQ 在网易云音乐的实践

Apache RocketMQ

RocketMQ 消息

2022年11月中国汽车智能网联月度观察

易观分析

汽车 智能网联

基于人眼视觉模型,实现码率、质量、成本的最优均衡

阿里云CloudImagine

云计算 阿里云

“智造新未来”欧比护理智造总部奠基仪式

联营汇聚

DolphinScheduler正式毕业,成为 Apache 软件基金会顶级项目_开源_万佳_InfoQ精选文章