AirFlow 日前加入了 Apache 孵化器工程。AirFlow 作为一个工作流和调度系统,被设计用来管理数据管道。之前是由 AirBnb 开发并在内部使用,于去年九月份开源,详见之前 InfoQ 的报道。
这个项目从 AirBnb 的内部使用外扩到了整个产业,每个月都会增加两个新的使用该项目的公司,还有差不多10 个新的贡献者以及20 个新用户。截至目前,已经有30 家公司在产线上使用该项目,并有8 个代码提交者和135 个贡献者,可以说,对于日后扩大,该项目已经有了坚实的基础。
相对于其他项目,例如 Azkaban , Luigui 和 Oozie ,AirFlow 有一个关键的区别是:管道是用代码定义的,而任务是动态地实例化的。在 AirFlow 开发的设计理念中同样包含了方便搭建和对开发者友好的思想。
在加入孵化器工程的同时,AirFlow 也在准备加入Apache Software Foundation(ASF) 的项目列表,同时加入的还有Impala, DataFu,AsterixDB,Zeppelin 等项目. 现可以从 Github 上获取 AirFlow 的代码,AirFlow 也会一直期待新的贡献者的加入。
查看英文原文: AirFlow Joins Apache Incubator
感谢张龙对本文的审校。
给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ , @丁晓昀),微信(微信号: InfoQChina )关注我们。
公众号推荐:
2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。
评论