写点什么

全票通过!易观开源项目 DolphinScheduler 进入 Apache 孵化器

  • 2019-09-17
  • 本文字数:2126 字

    阅读完需:约 7 分钟

全票通过!易观开源项目DolphinScheduler进入Apache孵化器

美国时间 2019 年 8 月 29 日,易观开源的分布式任务调度引擎 DolphinScheduler(原 EasyScheduler)正式通过顶级开源组织 Apache 基金会的投票决议,以全票通过的优秀表现正式成为 Apache 孵化器项目。


根据 Apache 基金会邮件列表显示,在包含 11 个约束性投票(binding votes)和 2 个无约束性投票(non-binding votes)的投票全部持赞同意见,无弃权票和反对票,投票顺利通过。


“Welcome to Apache incubator,DolphinScheduler!”



易观贡献的 DolphinScheduler 进入 Apache 孵化器,是易观开源项目的重要里程碑, DolphinScheduler 社区将遵循「The Apache Way」,秉承更加兼容并包与开放多样化的心态,由衷欢迎更多的开发者参与到社区中来,Committer 虚位以待!


DolphinScheduler 是一个分布式易扩展的可视化 DAG 工作流任务调度系统,致力于解决数据处理流程中错综复杂的依赖关系,同时具有强大的可视化操作界面。DolphinScheduler 曾用名为“EasyScheduler”,由于名称已在国外某 App 使用,经社区讨论与投票后改名为 DolphinScheduler,简称”DS”, 中文名 “小海豚调度”(海豚聪明、人性化,有左右脑可互相换班,终生不用睡觉)。我们希望 DolphinScheduler 就像它的名字一样,成为一个“开箱即用”的灵活易用的调度系统。

易观缘何开发 DolphinScheduler?

2017 年,易观在运营自己 6.8Pb 大小、6.02 亿月活、每天近万个调度任务的大数据平台时,受到 ETL 复杂的依赖关系、平台易用性、可维护性及二次开发等方面掣肘,我们渴望找到一个具有以下功能的数据调度工具:


  • 易于使用,开发人员可以通过非常简单的拖拽操作构建 ETL 过程。不仅对于 ETL 开发人员,无法编写代码的人也可以使用此工具进行 ETL 操作,例如系统管理员和分析师

  • 解决“复杂任务依赖”问题,并且可以实时监视 ETL 运行状态

  • 支持多租户

  • 支持许多任务类型:Shell,MR,Spark,SQL(mysql,postgresql,hive,sparksql),Python,Sub_Process,Procedure 等

  • 支持 HA 和线性可扩展性


易观技术团队意识到现有开源项目没有能够达到我们要求的,因此决定自行开发这个工具。我们在 2017 年底设计了 DolphinScheduler 的主要架构;2018 年 5 月完成第一个内部使用版本,后来我们又迭代了几个内部版本后,系统逐渐稳定下来。

家有 DolphinScheduler 初长成

易观 DS 团队——这一支自百度、阿里、百分点、Ptmind、热云等团队的“数据极客”,秉持易观“让数据能力平民化”的初心,积极拥抱开源,曾贡献过 Presto Hbase Connector, Presto Kudu Connector 等令开发者称赞的项目。此次在公司的支持下,也积极将自己的开发的调度工具推动开源,旨在回馈开源的同时,助力打造更为强大的开源生态。


易观 DS 团队在 2019 年 3 月初,小范围(10 多家公司)开放了 DS 的种子用户试用,得到了非常正能量的反馈,在 4 月初的正式对外开放源码后,很快就获得了许多开发人员的关注兴趣,目前 github 上的 star 现在已超过 1700 个,参与开发和使用的公司包括嘀嗒滴答出行、雪球、凤凰金融、水滴互助、华润万家等(参见https://github.com/apache/incubator-dolphinscheduler/issues/57)。

DolphinScheduler 的特点

DolphinScheduler 提供了许多易于使用的功能,可加快数据 ETL 工作开发流程的效率。其主要特点如下:


  • 通过拖拽以 DAG 图的方式将 Task 按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态

  • 支持丰富的任务类型

  • 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill 任务等操作

  • 支持工作流全局参数及节点自定义参数设置

  • 支持集群 HA,通过 Zookeeper 实现 Master 集群和 Worker 集群去中心化

  • 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计

  • 支持补数,并行或串行回填数据


目前,DolphinScheduler 在中国已经拥有了一个 1300 多位伙伴组成的用户及开发者社区。它也被许多公司和组织广泛采用作为其 ETL 调度工具。我们热烈欢迎更多的用户和开发者加入到贡献的队伍中来,让我们国人开源的调度引擎在世界开源生态中占据一席之地。


特别感谢愿意给 DolphinScheduler 提供指导的 champion 和 mentors,以及数百位提出 issue 和建议以及使用的伙伴们的贡献和大力支持;感谢在项目早期提出指导的来自华为、京东、teradata、百分点、趣头条等公司负责调度的伙伴。


同时感谢 GitHub mybatis-plus社区 ,在得知 DolphinScheduler 想使用 mybatis-plus 来支持多数据库,特地发版去掉了 NPL 协议;感谢易观前端团队开源的高质量 UI 组件库ans-ui

写在最后

我们坚信将 DolphinScheduler 引入 Apache 可以推动更强大,更多样化的开源社区的发展。我们将努力践行“Community Over Code”的 Apache 文化,同时欢迎更多的公司和个人参与到开发者队伍中来,让 DolphinScheduler 社区更加健壮、健康的发展,让更多人享受开源带来的技术革命!


目前 DolphinScheduler 的所有源代码和所有相关文档已捐赠给 Apache Software Foundation。这些代码已经在 Apache License Version 2.0 下:


代码库:https://github.com/apache/incubator-dolphinscheduler


文档:https://analysys.github.io/easyscheduler_docs_cn/


在线 demo:http://106.75.43.194:8888


2019-09-17 13:076313

评论 2 条评论

发布
用户头像
so awesome
2020-03-07 08:06
回复
用户头像
欢迎大家关注: https://github.com/apache/incubator-dolphinscheduler, 欢迎任何形式的建议和贡献!一起让DolphinScheduler成为优秀作品!
2019-09-24 14:57
回复
没有更多了
发现更多内容

Arctic 基于 Hive 的流批一体实践

网易数帆

hive iceberg LakeHouse Arctic 企业号十月 PK 榜

AntDB-M设计之CheckPoint

亚信AntDB数据库

AntDB aisware antdb AntDB数据库 企业号十月PK榜 企业号十月 PK 榜

「经验汇总」基于TDengine的时序数据解决方案

TDengine

数据库 tdengine 时序数据库

全能型选手——华为云数据库GaussDB(for MySQL)

清欢科技

华为云,安全创新的云服务标杆,助力企业数字化转型

爱科技的水月

SENSORO 付刘伟:图分析在城市治理服务的应用与落地

SENSORO

智慧城市 图数据库 图数据 数据服务

python爬取csdn个人首页信息以及博客

木偶

Python 爬虫 10月月更

跟我学Python图像处理丨图像特效处理:毛玻璃、浮雕和油漆特效

华为云开发者联盟

Python 华为云 图像处理 企业号十月 PK 榜

Java | 面向对象

陌上

Java、 编程、 10月月更

开源时代下,怎样强化自己的应用安全

Geek_99967b

小程序

Redis数据结构(二)-List、Hash、Set及Sorted Set的结构实现

京东科技开发者

数据库 redis List 数据结构 hash

实用性强更安全,后悔没早用华为云

清欢科技

2022机械设备行业ERP系统十大品牌排行榜

叶落便知秋

数据安全不容忽视,华为云网站安全为企业保驾护航

爱科技的水月

一份阿里内部GC面试手册,仅一周Github获赞96.9K

程序知音

Java JVM Java虚拟机 java架构 后端技术

安全沙箱隔离企业风险

Geek_99967b

小程序

快递单信息抽取【三】--五条标注数据提高准确率,仅需五条标注样本,快速完成快递单信息任务

汀丶人工智能

nlp 知识图谱 关系抽取 事件抽取 命名实体识别

轻量级的隔离技术:安全沙箱

Geek_99967b

小程序

数十倍的数据量增长,传统 OLAP 还能应对吗?

Kyligence

大数据 金融行业 OLAP技术

Java基础 | 常量、数据类型、变量、类型转换、运算符

陌上

Java、 代码 10月月更

Java | Scanner关键字、random 关键字、System类和匿名函数

陌上

Java、 编程、 10月月更

软件供应链端侧安全,小程序安全沙箱技术或许能帮到忙

Geek_99967b

小程序

2022全球主流一体化ERP系统十大品牌排行榜

叶落便知秋

算法 | 使用栈计算表达式

甜点cc

Go 算法 10月月更

二进制之间的加减乘除运算

甜点cc

学习笔记 计算机 二进制 10月月更

2022仪器仪表行业ERP系统十大品牌排行榜

叶落便知秋

vscode插件设置——Golang开发环境配置

甜点cc

Go ide vscode 插件 10月月更

MobTech 修改已审核通过的秒验产品信息

MobTech袤博科技

开发者 sdk 秒验 手机验证码认证

百度工程师教你玩转设计模式(适配器模式)

百度Geek说

Java 设计模式 适配器模式 企业号十月 PK 榜

Web前端小白知识点

木偶

前端 H5 10月月更

ClickHouse 和 Elasticsearch 压测对比,谁才是yyds?

程序知音

全票通过!易观开源项目DolphinScheduler进入Apache孵化器_语言 & 开发_代立冬_InfoQ精选文章