阿里、蚂蚁、晟腾、中科加禾精彩分享 AI 基础设施洞见,现购票可享受 9 折优惠 |AICon 了解详情
写点什么

封仲淹:Storm 2.0 将会基于 JStorm,阿里巴巴全程参与

  • 2015-11-24
  • 本文字数:1987 字

    阅读完需:约 7 分钟

11 月 19 日,阿里巴巴集团宣布正式加入Apache 基金会,并向Apache 基金会捐赠开源项目JStorm。JStorm 是一个分布式实时计算引擎。它用Java 完全重写了Storm 内核, 并重新设计了调度、采样、监控、HA,同时对ZooKeeper 和RPC 进行大幅改良,让性能有30% 的提升, 总体而言,JStorm 比Storm 更稳定, 更快,功能更强。关于JStorm 的具体介绍可以参考阿里巴巴技术沙龙中关于JStorm 的介绍。

简单来说,JStorm 是基于Storm 的二次开发产物,用户可以无缝将应用从Storm 迁移到JStorm,非常方便。JStorm 是中国第一个进入Apache 核心产品的开源项目,对于中国的开源发展来说意义重大。为了了解JStorm 加入Apache 基金会后的发展方向,InfoQ 记者采访了阿里巴巴共享事业部高级技术专家封仲淹。

InfoQ:首先恭喜阿里巴巴加入 Apache 基金会。谈谈你们和 Apache 基金会的渊源吧?

封仲淹:但凡写 Java 程序的程序员,肯定会知道 Apache。Apache 在整个开源界都举足轻重, 像我们熟知的 Tomcat、HTTP Server、Hadoop、HBase、ZooKeeper、Hive 等等, 太多大家熟悉的顶级项目。可以这样说,如果没有 Apache 基金会,今天绝大部分互联网公司都会举步维艰。我们大概去年 9 月份,和 Storm 社区在聊贡献 JStorm 的想法,当时 Storm 社区可能正在犹豫是否要从 Clojure 切换到 Java 体系, 但到了 2015 年 1 月,社区 Storm 开始倾向切换到 Java 体系, 因此和 JStorm 所做的事情基本一致。

后来双方开始正式讨论怎么合作, 捐献 JStorm 就被提上议程。与此同时,JStorm 团队开始全面参与 Storm 社区的发展, 尤其是 Storm 内核的设计上,贡献大量我们自己的经验,至于下一代 Storm 2.0, 基本就是阿里全程参与并基于 JStorm。 另外,因为 Storm 社区的自动化测试非常原始, 阿里巴巴已经有一套完善的 JStorm 自动化测试程序,我们后期会考虑怎么帮助 Storm 社区搭建这套自动化测试程序。

InfoQ:JStorm 正式成为 Apache Storm 里的子项目。JStorm 将在 Apache Storm 里孵化,孵化成功后会成为 Apache Storm 主干。这个可以解释下吗?JStorm 有可能成为顶级项目吗?

封仲淹:现在 JStorm 已经成为 Apache Storm 的子项目, 在 Apache Storm 里面孵化。 但社区的规划是,准备用 Java 重写 Storm, 其实这就是 JStorm 以前干的事情, 因此,双方在目标上是高度一致的,并且 Storm 社区在年前就有这个想法,但一直没有下决心做。这次 JStorm 捐献正好触发了 Storm 社区的决定, Storm 社区正在开发下一代 Storm 2.0, 而 Storm 2.0 会基于 JStorm。

InfoQ:当时为什么要考虑重写 Apache Storm?相比 Apache Storm,JStorm 有哪些重大优化?

封仲淹:早在 2012 年春节的时候,阿里就决定重写 Storm,最主要原因是目前 Storm 内核是 Clojure 语言,而 Clojure 语言很难阅读和实现。而阿里在 Storm 上应用极多, 对 Storm 有大量定制或改造需求, 如果继续沿着 Clojure 这条路走的话, 我们演化的速度会极慢,完全跟不上我们业务的演化速度。阿里 JStorm 每 2 个月发布一个大版本,而社区 Storm 每半年发布一个大版本, 这就是为什么考虑重写 Storm。

本质而言,相比 Storm,JStorm 就是 Storm 的企业版。 今天阿里在 JStorm 的体量已经世界第一,现在 Storm 社区碰到的一些问题, JStorm 在 1 年前甚至 2 年前就遇到并解决了, 这就是为什么 JStorm 会比 Storm 更稳定,更快,功能更丰富的根本原因。 至于具体的优化点, 比如 Nimbus HA、反压、监控系统、ZooKeeper 重构、资源隔离、类隔离等等特性都是因为这个根本原因触发的。

InfoQ:社区有人反馈说 JStorm 文档比较缺失,这也是很多国内开源项目的通病。你怎么看这个问题?为什么会出现这样的情况?

封仲淹: JStorm 合并到 Storm 之后,会迅速融入社区的开发,相信文档缺失的问题会慢慢得到改善。开源项目的开发是很多人协作的过程,除了有人写代码,也需要有人去写文档,国内现在的开源很大一部分的文档都是开发者自行补充,开源社区的文档和代码一样重要,也需要大家来参与和贡献。

InfoQ:加入 Apache 基金会后,阿里巴巴有什么计划?有没有考虑将 Dubbo 这样的优秀项目捐赠给 Apache?

封仲淹: 后续会与 Apache 基金会下的开源项目深度合作,比如我们正在孵化的 RocketMQ 项目,希望能尽快孵化成顶级项目。Dubbo 也是国内应用特别多的项目,是否能捐献给 Apache,这个需要 Apache 基金会来做决定。如果 Dubbo 能捐献给 Apache,那将给开源社区带来很好的帮助。

InfoQ:国内开源情况可以用『雷声大雨点小』来形容,你们认同吗?怎么看国内开源的发展?哪些地方应该加强?

封仲淹: 从阿里的角度看,国内的开源发展其实很快,很多开源贡献者都是默默无闻地投入 ,“雨点”并不小,有很多人都热爱并投入开源社区做了很多工作。如果说要加强的话,就是公司应该多鼓励员工向开源社区提交代码。这方面阿里在国内互联网公司里做得很不错。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2015-11-24 06:489870
用户头像

发布了 219 篇内容, 共 134.8 次阅读, 收获喜欢 190 次。

关注

评论

发布
暂无评论
发现更多内容

CSS样式中颜色与颜色值的应用

高端章鱼哥

CSS 代码 HEX rgb

接口测试|postman发送POST请求

霍格沃兹测试开发学社

接口测试|Postman持久化保存

霍格沃兹测试开发学社

性能测试|JMeter线程组设置

霍格沃兹测试开发学社

ChatGPT+低代码,好用到飞起?

树上有只程序猿

企业全面预算管理的四大“拦路虎”

用友BIP

全面预算

接口测试|Fiddler设置断点

霍格沃兹测试开发学社

接口测试|Charles的界面介绍

霍格沃兹测试开发学社

制造企业的高质量增长,藏在供应链的“精打细算”之中

工赋开发者社区

什么是低代码开发,为什么要使用低代码,选择低代码要注意什么?

优秀

低代码 低代码开发

Electron末日来了?又一应用将其抛弃!WhatsApp强制推行原生应用:速度更快、内存占用更少

工赋开发者社区

性能测试|JMeter取样器(一)

霍格沃兹测试开发学社

引领算力革命:低代码开发平台助力大模型时代的突破与进步

不在线第一只蜗牛

低代码 算力 算力虚拟化

用友BIP全球司库连续中标三大银行总行合作项目,共同推动企业数智转型

用友BIP

银行 全球司库

接口测试|Fiddler设置过滤

霍格沃兹测试开发学社

App自动化测试|adb版本过低的报错提示

霍格沃兹测试开发学社

提高API开发效率:详解OpenAPI接口规范最佳实践

Apifox

程序员 接口 API OpenAPI

生成式AI加入低代码,或将再次颠覆开发行业

树上有只程序猿

接口测试|Postman环境变量&全局变量设置

霍格沃兹测试开发学社

AIGC+HR|AI时代下,企业人力管理新解法

TE智库

人工智能 HR AIGC

接口测试|Postman发送带参数的Get请求

霍格沃兹测试开发学社

接口测试|postman模拟请求头&界面的响应信息

霍格沃兹测试开发学社

接口测试|Postman设置断言

霍格沃兹测试开发学社

直播预告 | 博睿学院:深入解析nacos基础原理

博睿数据

云原生 nacos 智能运维 博睿数据 博睿学院

接口测试|postman的介绍和安装

霍格沃兹测试开发学社

智能科技引爆传统行业:低代码开发平台的创新力量

EquatorCoco

低代码 数智转型 智能科技 传统行业

性能测试|JMeter取样器介绍(二)

霍格沃兹测试开发学社

#性能测试 JMeter使用教程

企业进行大数据分析时,需要关注哪些能力来选择合适的解决方案呢

巷子

汽车虚拟仿真:实时道路测试及自动驾驶的基石

3DCAT实时渲染

虚拟仿真 汽车虚拟仿真

什么是低代码(Low-Code)?

这我可不懂

低代码 低代码平台 JNPF

信息安全大有希望!低代码开发平台为大数据时代保驾护航

加入高科技仿生人

低代码 信息安全 信息技术

封仲淹:Storm 2.0将会基于JStorm,阿里巴巴全程参与_开源_小盖_InfoQ精选文章