【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

生于云、长于云,RocketMQ 5.0 再出发

  • 2022-07-28
  • 本文字数:4535 字

    阅读完需:约 15 分钟

生于云、长于云,RocketMQ 5.0 再出发

7 月 21 日-7 月 22 日,由 Apache RocketMQ 社区主办,阿里云天池平台、云原生应用平台承办的首届 RocketMQ Summit 全球开发者峰会拉开帷幕。Apache RocketMQ 联合创始人林清山发布 RocketMQ 能力全景图,为众多开发者阐述 RocketMQ 5.0 的技术定位与发展方向,来自快手、小米、字节跳动等互联网头部企业的 40 位演讲嘉宾与众多开发者分享各自行业的最佳实践与技术探索经验。

 

阿里云云原生应用平台负责人丁宇表示,开源让云计算更加标准化,云计算让开源产品化和规模化,未来的数字世界将构建在云计算和开源之上。开源已经成为阿里巴巴技术战略的重要组成部分。

 

今天,阿里巴巴的开源项目总数超过 3000 个,涵盖云计算、大数据、AI、中间件、数据库、容器、Serverless、高可用等领域,拥有超过 30000 名 Contributor,超过百万 Star,位列中国企业社区贡献榜首,连续十年蝉联中国厂商开源活跃度第一、影响力第一。未来,阿里云也将会持续投入 RocketMQ 的开源建设,构建更加繁荣的社区生态。希望与更多的开发者、贡献者一起,追求极致、开放共享,实现开源技术的普惠。



基于自身实践,RocketMQ 社区对于消息队列演进趋势的洞察

 

消息队列作为最经典的中间件之一,已经有三十多年历史。伴随着技术发展,消息队列领域不断扩展,迸发新生命力,作为国内大规模实践先行者,RocketMQ 社区认为消息领域将迎来以下趋势变化:

 

  1. 全面拥抱云原生

消息队列将向上演进消息型的产品形态,更好去支撑微服务、事件驱动、Serverless 化等云原生应用架构;向下演进消息系统自身云原生架构,通过系统重构充分释放基础设施的弹性计算、存储、网络等能力,全方位提升消息技术指标,降低消息成本,提高消息队列弹性能力。


  1. 全面拥抱物联网

物联网技术将更广泛落地到各行各业,万物互联、边缘计算会进一步拓展消息的边界。面向物联网的消息队列要海量异构设备接入,海量消息队列存储,能够随处运行,具备云边端一体的无边界部署能力。

 

  1. 全面拥抱实时数据

企业的数字化转型的步伐不断加速,从业务数字化迈向数字业务化。数字化企业持续产生业务数据,对业务数据实时洞察与决策,才能帮助企业快速响应商机、把握商机,使得业务获得更大成功。同时,消息队列也将从在线业务架构的基础设施延伸到实时数据架构的基础设施,达到事务分析一体化。

 

四大方向,全面解读 RocketMQ 5.0 架构演进



1. 面向微服务


引入微服务架构,数字化企业以“高内聚、低耦合”的方式高效协作。微服务架构也带来新问题,比如大量同步微服务会面临延迟增大、可用性降低等风险。为了解决这个问题,越来越多的企业引入消息队列建设异步微服务体系,进一步提高微服务的韧性,降低响应延迟。

 

微服务技术领域,Spring Cloud 体系、Dubbo 体系、HTTP、AMQP 等通信协议已经形成了事实标准。下一代微服务体系也在快速发展中,主要体现在基础设施下沉,比如 Service Mesh、Serverless 等技术。

 

在这个趋势下,RocketMQ 5.0 在 SDK 层面将原来的重型客户端往轻量客户端演进,基于标准 gRPC 作为 remoting 层实现 SDK,同时也将更多客户端逻辑下沉到服务端,比如消息重试、负载均衡等,大幅度降低多语言 SDK 的实现成本。轻量客户端更好地匹配了 Service Mesh 的需求,RocketMQ 的 Mesh 能力已正式合入 CNCF Envoy 官方社区。

 

在负载均衡方面,RocketMQ 从原来的队列粒度负载均衡演进到了消息粒度负载均衡模式,消息粒度负载均衡更加匹配 Serverless 应用的场景,无状态 Serverless 应用弹性伸缩过程不会触发频繁的队列重平衡,降低消息重复率和端到端延迟。

 

RocketMQ 5.0 提供无状态 proxy,通过 proxy 可以很方便地扩展更多标准消息协议以及流量治理功能。无状态 proxy 也具备良好的网络穿透能力,可以灵活应对企业在上云过程中面临的复杂跨网络访问场景。

 

今天我们以 RocketMQ 5.0 核心能力为基础,支撑了阿里云 RocketMQ、MNS、RabbitMQ 等多款云消息产品。其中,阿里云 RabbitMQ 是一款兼容 AMQP 协议、RabbitMQ SDK 的消息服务,可以帮助开源存量用户无缝上云。同时,它也充分释放了底层 RocketMQ 云原生架构的技术红利,具备和 RocketMQ 一致的高性能、无限扩展、高可用等特点,是云原生的 RabbitMQ。

 

2. 事件驱动(EDA)


事件驱动在 2018 年被 Gartner 评为年度十大技术趋势。在未来新型的数字化商业解决方案中,会有 60% 以上的商业数字化解决方案采纳 EDA 架构。EDA 为软件架构带来彻底解耦,实现更灵活的业务扩展和业务敏捷能力,不仅可以用于单一业务领域的微服务解耦,还可以用于跨部门、跨组织、跨业务领域的事件集成。消息队列是 EDA 架构中最核心的组件,承担 eventbroker 的职责。随着 EDA 架构被大规模跨组织落地,要进一步提高行业级生产力,标准化也迫在眉睫。为此, CNCF 推出了 CloudEvent 规范,基于统一的规范,跨系统、跨组织的数字化协同有了共同的“语言”,能够实现更高效的系统集成,有了规范也方便沉淀面向事件的统一基础软件设施,提高研发效率。

 

面向 EDA 趋势,RocketMQ 5.0 发布全新产品形态——EventBridge。整个领域模型以事件为中心,并拥抱 CloudEvent 规范,CloudEvent 社区开源 SDK 可无缝接入 EventBridge;同时,EventBridge 还提供各种低代码事件编排、过滤、路由能力,灵活实现各种事件集成。

 

今天我们以 RocketMQ 5.0 核心能力为基础,支撑了阿里云 EventBridge 产品,助力云客户实现事件驱动、事件集成的商业生态。

 

3. 物联网


全球的 IoT 设备爆发式增长,预计到 2025 年将达到 200 多亿台,并且物联网也带来了边缘计算的兴起,未来将有 75% 的数据在传统数据中心或云环境之外进行处理。目前物联网行业已经形成了多个标准协议,其中最流行的莫过于 MQTT,这是"发布-订阅"模式的消息协议,除此之外还有各种车联网协议、工业协议等等,物联网消息队列要具备多样化异构海量设备接入能力。RocketMQ 可作为物联网应用的基础通信设施,用于 IoT、移动设备的数据上报,还有指令下行,为 IoT 业务连接云边端。

 

面向 IoT 的趋势,RocketMQ 5.0 发布轻量级百万队列引擎,轻量元数据服务。在新存储内核之上,建设物联网形态消息队列 MQTT,支持标准物联网协议,支持海量物联网设备接入和海量队列存储。

 

RocketMQ 5.0 遵循零外部依赖的精简架构原则,新 HA 架构为低资源消耗场景提供更多选择,用户可以权衡可靠性、成本、可用性,选择最优副本策略。比如,边缘场景由于资源受限,RocketMQ 不一定需要提供三副本存储,可以是两副本,甚至是单副本就能满足业务需求。

 

今天以 RocketMQ 5.0 核心能力为基础,支撑了阿里云微消息队列 MQTT,为客户提供云端一体化消息解决方案,实现万物互联、云端互联。

 

4. 实时大数据


未来大数据将走向实时化,预测在 2025 年实时大数据的比例将达到 30%。数字化企业通过实时感知、实时分析、实时决策,能够抓住商机、快速响应用户,实时大数据的重要性愈发突出。消息队列是实时大数据的关键技术之一,作为事件流的核心存储,它承担数据分发、数据缓冲以及轻量的流处理等作用。

 

事件流技术越来越多地在 IoT 场景进行使用,IDC 预测未来 95% 的实时事件流将来自 IoT 场景;另外,有越来越多的交易事件需要进行实时分析,挖掘更多业务价值,事件流技术也开始呈现事务分析一体化的趋势。

 

面向事件流的趋势,RocketMQ 5.0 在流存储和流分析能力进行重点打造:

  • 流存储方面,支持批量索引,大幅度提高 RocketMQ 吞吐量。支持 compacttopic,用于实现流处理过程中的状态存储,零外部依赖。除了功能特性之外,RocketMQ 5.0 的流存储同时进行了云原生架构改造,引入逻辑队列的概念,解耦了数据逻辑分区跟物理存储之间的绑定关系,能够实现全局固定分区前提下进行无缝扩缩容,零数据迁移。

 

  • 流分析方面,RocketMQ 5.0 全新发布了轻量的流计算引擎,它可以兼容 Flink SQL,方便用户在不同场景无缝切换。如果用户需要大而全的流计算能力,可以使用大型计算平台。如果用户有边缘计算、资源受限、简单流处理场景,可以直接使用 RocketMQ 的 RSQL 来支持。

 

今天我们以 RocketMQ 5.0 事件流能力为基础,支撑了阿里云 Kafka 产品,存量 Kafka 用户实现无缝上云;同时基于 RocketMQ 的逻辑队列能力,阿里云 Kafka 具备快速弹性伸缩能力,提供了 Serverless 化的产品形态,让存量 Kafka 用户也能够体验到云原生架构的红利。

 

不断演进,RocketMQ 正式迈进 5.0 时代

 

在过去七年大规模云计算实践中,RocketMQ 不停自我演进。今天, RocketMQ 正式迈进 5.0 时代,从互联网业务消息中间扩展到“消息、事件、流”超融合处理平台,解锁了更全面的能力。

 

在消息领域,全面拥抱云原生技术,以获得更好的弹性伸缩。在事件领域产品形态进行全面升级,拥抱行业标准,让事件驱动架构无处不在,从单一业务的数字化系统扩展到跨组织跨业务的数字化商业生态事件驱动的架构,也同时让云计算原生的技术能够更大规模的落地,提高云产品跟用户业务的集中度。让 Serverless 的技术能够被更大范围的采纳,帮助企业客户去降本增效。在流存储和流计算领域,流存储增强批量的特性,大幅度提高 RocketMQ 数据吞吐量,新增逻辑队列能力,解耦逻辑资源跟物理资源,在流场景也具备无缝伸缩能力;新增轻量流处理引擎也提供了实时事件流处理、流分析能力。

 

RocketMQ 基于端云一体化架构,实现完整物联网消息队列能力,从原来连接应用扩展到连接物联网设备。同时 RocketMQ 5.0 也继续保持着极简架构原则,即便产品能力全面提升,也依然能够以最低资源消耗,最低运维代价去搭建服务。

 

现在的 RocketMQ 已经真正具备连接一切、随处运行的能力,提供云边端一体化的实时数据解决方案。物联网设备持续产生数据,边缘 RocketMQ 可以进行实时数据分析,快速响应业务。通过实时 ETL,实时决策产生的高价值事件,或者数据可以传输到云端,通过 RocketMQ  eventing 能力连接更强大的公有云平台,利用云的一站式平台技术,进一步放大每份数据的价值。


不止于开源,RocketMQ 赋能海量行业客户

 

今天,基于 RocketMQ 5.0 为内核,阿里云也打造一站式消息平台,在统一云原生消息内核基础上,提供 6 种消息产品形态,有面向 IoT 场景的微消息队列 MQTT,有面向 EDA 场景的 EventBridge,也有面向开源用户无缝上云的托管开源产品(如 Kafka、RabbitMQ、RocketMQ)。

 

通过多样化产品形态,RocketMQ 在阿里云上已服务数万个企业用户,帮助其完成数字化转型的同时,也得到业界的广泛认可,获得了包括 OSCHINA 优秀技术团队奖、中国开源云联盟优秀基础软件、“科创中国”·年度优秀开源产品等在内的多个奖项,并进入 Apache 中国开源项目领导者象限。在信通院测评中,RocketMQ 通过信通院可信云分布式消息队列服务“增强级”认证,并通过信通院金融级消息队列服务稳定性评测“先进级”认证。

 

随着潜在用户数的增大,RocketMQ 的商业价值也被进一步放大。目前已经有十家云厂商提供 Apache RocketMQ 的商业服务,几乎覆盖了国内主流的公共云厂商。这让 RocketMQ 的用户有了更多选择,真正实现了无厂商锁定,RocketMQ 已经成为云原生消息的事实标准。

 

万物皆云的时代,RocketMQ 让数字化转型更简单高效,也将消息、事件、流的价值最大程度释放。Apache RocketMQ 将不断推动技术演进与落地实践,帮助企业真正实现高质量数字化转型与创新。

2022-07-28 11:396823

评论 1 条评论

发布
暂无评论
发现更多内容

聚道云实现浙商银行与易快报完美互通,助力企业财务完成数字化转型

聚道云软件连接器

作为铭文跨链赛道龙头,SoBit 有何突出之处?

EOSdreamer111

实时渲染与离线渲染优势浅析-3D可视化技术

3DCAT实时渲染

云渲染 实时渲染

高效打通,释放人力——聚道云软件连接器助力生产制造行业人力资源信息交互

聚道云软件连接器

Solana 生态铭文跨链桥 Sobit 是何神圣?其场外白名单已达到1200U

长安区块链

Solana 生态铭文跨链桥 Sobit 是何神圣?其场外白名单已达到1200U

BlockChain先知

如何快速获取抖音新用户/用户信息

RestCloud

抖音 数据同步 ETL

Kubernetes调试终极武器: K8sGPT

俞凡

人工智能 Kubernetes SRE ChatGPT

场外白名单达到1200U?Solana 生态铭文跨链桥 Sobit 是何神圣?

EOSdreamer111

内嵌AI智能会议、AI临时分身、AI降噪等创新技术,ThinkPad X1 Carbon AI发布

科技范儿

TiDB 7.5 LTS 发版丨提升规模化场景下关键应用的稳定性和成本的灵活性

PingCAP

数据库 TiDB pingCAP

TiDB 助力保险业首个全栈自主的核心保单系统成功投产

PingCAP

数据库 TiDB 保险业

场外白名单达到1200U?Solana 生态铭文跨链桥 Sobit 是何神圣?

石头财经

C 语言中的 switch 语句和 while 循环详解

小万哥

程序人生 编程语言 软件工程 C/C++ 后端开发

云原生场景下月省 10 万元资源成本,这家企业做对了什么

阿里巴巴云原生

阿里云 容器 云原生

TiDB 7.1 多租户在中泰证券中的应用

PingCAP

数据库 TiDB

0.1+0.2≠0.3,揭秘Python自带的Bug

程序员晚枫

Python

Solana 生态铭文跨链桥 Sobit 是何神圣?其场外白名单已达到1200U

股市老人

云原生时代的安全变化趋势

穿过生命散发芬芳

2023 年中国金融级分布式数据库市场报告:TiDB 位列领导者梯队,创新能力与增长指数表现突出

PingCAP

数据库 TiDB

边缘计算:将未来的计算力带到你的指尖

啊川..

看孙玲TEDX演讲有感

五月的风

按图搜索淘宝商品接口(拍立淘)(Taobao.item_search_img)

tbapi

按图搜索淘宝商品接口 图片搜索商品接口 图片搜索API接口 拍立淘API接口 淘宝图片搜索接口

聚道云受邀参加【中国算谷·智慧庆阳】算力行动推进大会

聚道云软件连接器

普及旗舰音质,打造一加用户首选!一加 Buds 3定档1月4日发布

编程猫

为什么市场称SoBit 是铭文跨链赛道真正的龙头?

股市老人

Kubernetes常见的三种网络插件Flannel、Calico、Weave Net的比较:

Geek_b2fe7a

多语言应用监控最优选,ARMS 应用监控 eBPF 版正式发布

阿里巴巴云原生

阿里云 云原生

ERP系统与智能商品系统在供应链管理上的区别和优势在哪些方面?

第七在线

阿里云 ACK 云上大规模 Kubernetes 集群高可靠性保障实战

阿里巴巴云原生

阿里云 容器 云原生

七功能遥控编解码芯片

攻城狮Wayne

生于云、长于云,RocketMQ 5.0 再出发_大数据_Tina_InfoQ精选文章