写点什么

微众银行计算中间件开源项目 Linkis 进入 Apache 孵化

2021 年 9 月 14 日

微众银行计算中间件开源项目Linkis进入Apache孵化

9 月 14 日消息,微众开源宣布,微众银行开源项目 Linkis 已于 8 月 2 日通过国际开源组织 Apache 软件基金会(简称 ASF )的投票决议(全票通过),正式成为 ASF 孵化器项目。


微众银行大数据平台负责人、Linkis 项目发起人邸帅指出,在当今复杂的分布式环境下,应用服务的通信、协调和治理已经形成了从 SOA 到微服务的成熟解决方案,以及从 ESB 到 Service Mesh 对不同服务进行解耦的诸多实践。


“然而,当应用程序服务需要与底层引擎进行通信时,情况就会有所不同。引擎彼此隔离,客户端-服务器紧密耦合模式无处不在。每个上层应用都必须以紧耦合的方式直接连接和访问各种底层引擎,自行解决‘计算治理’问题,包括维护不同的客户端环境、提交作业、监控作业状态、获取输出,处理大量并发客户端实例,观察 Bad Job,适应引擎版本变化等。这个是因为在众多上层应用程序和无数底层引擎之间缺乏一个公共的‘计算中间件’层,以标准化可重用的方式处理所有这些‘计算治理’事务,这就是我们启动 Linkis 项目的原因。”邸帅表示。


Linkis 基于微服务架构开发,通过提供的标准化接口(REST、JDBC、WebSocket 等),可快速连接各种底层引擎(Spark、Presto、Flink 等),同时实现跨引擎上下文共享,统一的 Job 和引擎治理和编排等功能,以标准化可重用的方式解决“计算治理”问题。


其服务可以分为 3 类,分别是计算治理服务、公共增强服务和微服务治理服务:


计算治理服务,支持计算任务/请求处理流程的 3 个主要阶段:提交->准备->执行;


公共增强服务,包括上下文服务、物料管理服务及数据源服务等;


微服务治理服务,包括定制化的 Spring Cloud Gateway、Eureka、Open Feign。


Linkis 的架构概要图


Linkis 项目于 2019 年 7 月在 GitHub 和 Gitee 上对外开源,从最开始发布的 0.5.0 版本到现在最新的 1.0.2 版本,微众银行联合社区多家团队对 Linkis 做了许多新特性的新增、功能增强和 Bug 修复,如对接了 Presto/ES/Flink 等多个底层计算存储引擎、新增了上下文服务、计算编排等新特性。


经过两年的开源社区建设,Linkis 项目贡献人数达 50 多人,在金融、互联网、通信等领域均有应用,积累了 700 多家试验企业和 1000+沙盒试验用户。不少公司已经将 Linkis 作为大数据平台底层计算存储引擎的统一入口,以及计算请求/任务的治理管控利器。


据了解,Linkis 是微众银行第二个进入 ASF 的项目。在年初,EventMesh 项目同样以全票通过的结果进入 ASF 孵化器。


仓库地址:


https://github.com/WeBankFinTech/Linkis(后续将迁移至 Apache 组织下,可搜索 Linkis 获得)


https://gitee.com/WeBank/Linkis

2021 年 9 月 14 日 18:2845
用户头像
罗燕珊 InfoQ中文站记者

发布了 137 篇内容, 共 49.2 次阅读, 收获喜欢 226 次。

关注

评论

发布
暂无评论
发现更多内容

云原生数据库风起云涌,华为云GaussDB破浪前行

华为云开发者社区

数据库 架构 云原生 华为云 GaussDB

golang设置时区的多种方式

happlyfox

golang 学习 3月日更

Apache Doris(incubating) 0.12.0版本正式发布

ApacheDoris

K8s 原生 Serverless 实践:ASK 与 Knative

Serverless Devs

阿里云 Serverless Kubernetes 云原生

2021年Android面试心得,大厂面经合集

欢喜学安卓

android 程序员 面试 移动开发

GitHub已封神!百万人跪求的Java面试手册真就无敌了呗

Crud的程序员

Java 编程 架构

量化策略软件搭建,马丁策略交易软件开发

13823153121

直播预告 | 数据操作加速器,CloudQuery v1.3.5 发布

CloudQuery社区

sql 编辑器 数据治理 数据安全 数据库管理工具

终于知道为啥网页不让我复制粘贴了!

华为云开发者社区

js 代码 button事件 复制粘贴 输入框

IAP:物联网终端软件升级技术

华为云开发者社区

IoT LiteOS iap 物联网终端 OTA

开抢| 华为开发者大会2021(Cloud)早鸟票来了!

华为云开发者社区

华为 开发者

2021最新分享支付宝/美团/拼多多面经总结

比伯

Java 编程 架构 面试 程序人生

EGG Network构建千万级应用的聚合型永动金融公链 EFTalk

币圈那点事

神策大数据技术直播系列课第二季,开讲啦

神策技术社区

大数据 性能优化 前端 工程师 事件分析

情指勤指挥调度平台搭建,公安局情报指挥系统

13823153121

2021年DevOps的四大趋势

禅道项目管理

DevOps 工具 趋势 Redis开发与运维

2021出海社交必看:产品、技术、运营指南

拍乐云Pano

音视频 RTC 社交APP出海 出海社交 社交泛娱乐

别再说你不懂规则引起啦

比伯

Java 编程 程序员 架构 计算机

音视频开发——通信直播协议和视频推流丨RTMP-RTSP

Linux服务器开发

音视频 WebRTC ffmpeg 直播推流 SRS流媒体服务器

MapReduce中shuffle阶段的数据压缩机制

大数据技术指南

大数据 hadoop 3月日更

力扣(LeetCode)刷题,简单题(第14期)

不脱发的程序猿

LeetCode 面试刷题 算法攻关 28天挑战 3月日更

畅想数据湖

数据社

数据仓库 数据湖 ETL ELT

Python OpenCV 彩色图像与灰度图像的转换

梦想橡皮擦

3月日更

10种下载YouTube视频的方法-包含网站软件插件app等

Space空间

软件 网站 下载youtube视频

简单快速搭建,全新语聊方案

anyRTC开发者

ios android 音视频 WebRTC RTC

MoviePy - 中文文档(一个专业的python音视频编辑库)教程

ucsheep

Python 音视频 视频剪辑 Moviepy 视频合成

美女师姐说给你听!我成为蚂蚁安全工程师的初体验

DT极客

20天内看完这套GitHub标星18k+的Android资料,含泪整理面经

欢喜学安卓

android 程序员 面试 移动开发

用 WebRTC 打造一个音乐教育 App,要解决哪些音质难题?

阿里云视频云

音视频 WebRTC 在线教育 RTC

NA公链(Nirvana)解决的六大问题在众多公链中脱颖而出NAC公链

区块链第一资讯

Spark性能调优-Shuffle调优及故障排除篇

五分钟学大数据

大数据 spark 3月日更

微众银行计算中间件开源项目Linkis进入Apache孵化-InfoQ