“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

全票通过!易观开源项目 DolphinScheduler 进入 Apache 孵化器

  • 2019-09-17
  • 本文字数:2126 字

    阅读完需:约 7 分钟

全票通过!易观开源项目DolphinScheduler进入Apache孵化器

美国时间 2019 年 8 月 29 日,易观开源的分布式任务调度引擎 DolphinScheduler(原 EasyScheduler)正式通过顶级开源组织 Apache 基金会的投票决议,以全票通过的优秀表现正式成为 Apache 孵化器项目。


根据 Apache 基金会邮件列表显示,在包含 11 个约束性投票(binding votes)和 2 个无约束性投票(non-binding votes)的投票全部持赞同意见,无弃权票和反对票,投票顺利通过。


“Welcome to Apache incubator,DolphinScheduler!”



易观贡献的 DolphinScheduler 进入 Apache 孵化器,是易观开源项目的重要里程碑, DolphinScheduler 社区将遵循「The Apache Way」,秉承更加兼容并包与开放多样化的心态,由衷欢迎更多的开发者参与到社区中来,Committer 虚位以待!


DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度系统,致力于解决数据处理流程中错综复杂的依赖关系,同时具有强大的可视化操作界面。DolphinScheduler 曾用名为“EasyScheduler”,由于名称已在国外某 App 使用,经社区讨论与投票后改名为 DolphinScheduler,简称”DS”, 中文名 “小海豚调度”(海豚聪明、人性化,有左右脑可互相换班,终生不用睡觉)。我们希望 DolphinScheduler 就像它的名字一样,成为一个“开箱即用”的灵活易用的调度系统。

易观缘何开发 DolphinScheduler?

2017 年,易观在运营自己 6.8Pb 大小、6.02 亿月活、每天近万个调度任务的大数据平台时,受到 ETL 复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘,我们渴望找到一个具有以下功能的数据调度工具:


  • 易于使用,开发人员可以通过非常简单的拖拽操作构建 ETL 过程。不仅对于 ETL 开发人员,无法编写代码的人也可以使用此工具进行 ETL 操作,例如系统管理员和分析师

  • 解决“复杂任务依赖”问题,并且可以实时监视 ETL 运行状态

  • 支持多租户

  • 支持许多任务类型:Shell,MR,Spark,SQL(mysql,postgresql,hive,sparksql),Python,Sub_Process,Procedure 等

  • 支持 HA 和线性可扩展性


易观技术团队意识到现有开源项目没有能够达到我们要求的,因此决定自行开发这个工具。我们在 2017 年底设计了 DolphinScheduler 的主要架构;2018 年 5 月完成第一个内部使用版本,后来我们又迭代了几个内部版本后,系统逐渐稳定下来。

家有 DolphinScheduler 初长成

易观 DS 团队——这一支自百度、阿里、百分点、Ptmind、热云等团队的“数据极客”,秉持易观“让数据能力平民化”的初心,积极拥抱开源,曾贡献过 Presto Hbase Connector, Presto Kudu Connector 等令开发者称赞的项目。此次在公司的支持下,也积极将自己的开发的调度工具推动开源,旨在回馈开源的同时,助力打造更为强大的开源生态。


易观 DS 团队在 2019 年 3 月初,小范围(10 多家公司)开放了 DS 的种子用户试用,得到了非常正能量的反馈,在 4 月初的正式对外开放源码后,很快就获得了许多开发人员的关注兴趣,目前 github 上的 star 现在已超过 1700 个,参与开发和使用的公司包括嘀嗒滴答出行、雪球、凤凰金融、水滴互助、华润万家等(参见https://github.com/apache/incubator-dolphinscheduler/issues/57)。

DolphinScheduler 的特点

DolphinScheduler 提供了许多易于使用的功能,可加快数据 ETL 工作开发流程的效率。其主要特点如下:


  • 通过拖拽以 DAG 图的方式将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态

  • 支持丰富的任务类型

  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作

  • 支持工作流全局参数及节点自定义参数设置

  • 支持集群 HA,通过 Zookeeper 实现 Master 集群和 Worker 集群去中心化

  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计

  • 支持补数,并行或串行回填数据


目前,DolphinScheduler 在中国已经拥有了一个 1300 多位伙伴组成的用户及开发者社区。它也被许多公司和组织广泛采用作为其 ETL 调度工具。我们热烈欢迎更多的用户和开发者加入到贡献的队伍中来,让我们国人开源的调度引擎在世界开源生态中占据一席之地。


特别感谢愿意给 DolphinScheduler 提供指导的 champion 和 mentors,以及数百位提出 issue 和建议以及使用的伙伴们的贡献和大力支持;感谢在项目早期提出指导的来自华为、京东、teradata、百分点、趣头条等公司负责调度的伙伴。


同时感谢 GitHub mybatis-plus社区 ,在得知 DolphinScheduler 想使用 mybatis-plus 来支持多数据库,特地发版去掉了 NPL 协议;感谢易观前端团队开源的高质量 UI 组件库ans-ui

写在最后

我们坚信将 DolphinScheduler 引入 Apache 可以推动更强大,更多样化的开源社区的发展。我们将努力践行“Community Over Code”的 Apache 文化,同时欢迎更多的公司和个人参与到开发者队伍中来,让 DolphinScheduler 社区更加健壮、健康的发展,让更多人享受开源带来的技术革命!


目前 DolphinScheduler 的所有源代码和所有相关文档已捐赠给 Apache Software Foundation。这些代码已经在 Apache License Version 2.0 下:


代码库:https://github.com/apache/incubator-dolphinscheduler


文档:https://analysys.github.io/easyscheduler_docs_cn/


在线 demo:http://106.75.43.194:8888


2019-09-17 13:075649

评论 2 条评论

发布
用户头像
so awesome
2020-03-07 08:06
回复
用户头像
欢迎大家关注: https://github.com/apache/incubator-dolphinscheduler, 欢迎任何形式的建议和贡献!一起让DolphinScheduler成为优秀作品!
2019-09-24 14:57
回复
没有更多了
发现更多内容

「2021中国峰会同行记」第二回 | 探索店匠从0到1出海的技术密码

亚马逊云科技 (Amazon Web Services)

建信金科大咖访谈:地方特色产业互联网建设思考与实践

金科优源汇

过一过Java“锁”事

CodeWithBuff

Java 并发 同步

[译] R8 优化: Lambda Groups

Antway

6月日更

三个维度,透视5G价值的持续点亮之旅

脑极体

lockSupport怎么玩

卢卡多多

锁机制 6月日更

ZooKeeper实战

CodeWithBuff

Java zookeeper

【源码篇】Flutter Bloc背后的思想,一篇纠结的文章

小呆呆666

flutter ios android 大前端

领域驱动设计101 - 模块

luojiahu

领域驱动设计 DDD

【源码篇】Flutter Provider的另一面(万字图文+插件)

小呆呆666

flutter ios android 大前端

如何设计恒流源输出电路?

不脱发的程序猿

嵌入式 电路设计 硬件研发 恒流源输出电路

德勤基于Amazon WAF 云原生安全服务为客户交付价值

亚马逊云科技 (Amazon Web Services)

我是如何用 ThreadLocal 虐面试官的?

陈皮的JavaLib

Java 面试 多线程 ThreadLocal

成为你想要看到的改变,首先就是让正确的事情持续的发生。

叶小鍵

研发管理工具 ONES 完成3亿人民币 B1 B2 轮融资,继续领跑研发管理赛道

万事ONES

项目管理 融资 研发管理工具 ONES

ONLYOFFICE-基本组成及工作原理

一个需求

onlyoffice

react native实践总结与思考

碗盆

android 跨平台 React Native

详解Redis主从复制原理

蘑菇睡不着

Java redis

python 连接钉钉传输工作数据监控

百里丶落云

如果非要在多线程中使用 ArrayList 会发生什么?(第二篇)

看山

Java 并发编程

数据结构——顺序栈

若尘

数据结构 6月日更

前端面试中有趣的题目(一)

空城机

JavaScript 大前端 6月日更

迪士尼将亚马逊云科技作为首选的公有云基础设施供应商,支持 Disney+ 全球扩展

亚马逊云科技 (Amazon Web Services)

Linux之less命令

入门小站

Linux

Rust从0到1-函数式编程-迭代器

rust 函数式编程 Iterator 迭代器

毕业论文被不小心删除了,有什么方法可以恢复?

淋雨

EasyRecovery 文件恢复 硬盘数据恢复

推荐一个MySQL宝藏网站

Simon

MySQL 网站

「2021中国峰会同行记」第一回 | 与埃森哲一同追溯技术合力的本源

亚马逊云科技 (Amazon Web Services)

人工智能应用架构的思考

金科优源汇

谈一谈Java的网络编程

CodeWithBuff

Java 网络io

密码学系列之:twofish对称密钥分组算法

程序那些事

加密解密 密码学 程序那些事

全票通过!易观开源项目DolphinScheduler进入Apache孵化器_语言 & 开发_代立冬_InfoQ精选文章