「如何实现流动式软件发布」线上课堂开课啦,快来报名参与课堂抽奖吧~ 了解详情
写点什么

微服务任务调度平台(SIA-TASK)

2020 年 2 月 10 日

微服务任务调度平台(SIA-TASK)

背景

无论是互联网应用或者企业级应用,都充斥着大量的批处理任务。常常需要一些任务调度系统帮助开发者解决问题。随着微服务化架构的逐步演进,单体架构逐渐演变为分布式、微服务架构。在此的背景下,很多原先的任务调度平台已经不能满足业务系统的需求。于是出现了一些基于分布式的任务调度平台。这些平台各有其特点,但各有不足之处,比如不支持任务编排、与业务高耦合、不支持跨平台等问题。非常不符合新一代微服务架构的需求,因此宜信公司开发了微服务任务调度平台(SIA-TASK)。


SIA 是宜信公司基础开发平台 Simple is Awesome 的简称,SIA-TASK(微服务任务调度平台)是其中的一项重要产品,SIA-TASK 契合当前微服务架构模式,具有跨平台,可编排,高可用,无侵入,一致性,异步并行,动态扩展,实时监控等特点。


项目简介

SIA-TASK 是任务调度的一体式解决方案。对任务进行元数据采集,然后进行任务可视化编排,最终进行任务调度,并且对任务采取全流程监控,简单易用。对业务完全无侵入,通过简单灵活的配置即可生成符合预期的任务调度模型。


SIA-TASK 借鉴微服务的设计思想,获取分布在每个任务执行器上的任务元数据,上传到任务注册中心。利用在线方式进行任务编排,可动态修改任务时钟,采用 HTTP 作为任务调度协议,统一使用 JSON 数据格式,由调度中心进行时钟解析,执行任务流程,进行任务通知。


关键术语

  • 任务(Task): 基本执行单元,执行器对外暴露的一个 HTTP 调用接口;

  • 作业(Job): 由一个或者多个存在相互逻辑关系(串行/并行)的任务组成,任务调度中心调度的最小单位;

  • 计划(Plan): 由若干个顺序执行的作业组成,每个作业都有自己的执行周期,计划没有执行周期;

  • 任务调度中心(Scheduler): 根据每个的作业的执行周期进行调度,即按照计划、作业、任务的逻辑进行 HTTP 请求;

  • 任务编排中心(Config): 编排中心使用任务来创建计划和作业;

  • 任务执行器(Executer): 接收 HTTP 请求进行业务逻辑的执行;

  • Hunter:Spring 项目扩展包,负责执行器中的任务抓取,上传注册中心,业务可依赖该组件进行 Task 编写。


微服务任务调度平台的特性

  • 基于注解自动抓取任务,在暴露成 HTTP 服务的方法上加入 @OnlineTask 注解,@OnlineTask 会自动抓取方法所在的 IP 地址,端口,请求路径,请求方法,请求参数格式等信息上传到任务注册中心(zookeeper),并同步写入持久化存储中,此方法即任务;

  • 基于注解无侵入多线程控制,单一任务实例必须保持单线程运行,任务调度框架自动拦截 @OnlineTask 注解进行单线程运行控制,保持在一个任务运行时不会被再次调度。而且整个控制过程对开发者完全无感知。

  • 调度器自适应任务分配,任务执行过程中出现失败,异常时。可以根据任务定制的策略进行多点重新唤醒任务,保证任务的不间断执行。

  • 高度灵活任务编排模式,SIA-TASK 的设计思想是以任务为原子,把多个任务按照执行的关系组合起来形成一个作业。同时运行时分为任务调度中心和任务编排中心,使得作业的调度和作业的编排分隔开来,互不影响。在我们需要调整作业的流程时,只需要在编排中心进行处理即可。同时编排中心支持任务按照串行,并行,分支等方式组织关系。在相同任务不同任务实例时,也支持多种调度方式进行处理。


微服务任务调度平台设计

SIA-TASK 主要分为五个部分:


  • 任务执行器

  • 任务调度中心

  • 任务编排中心

  • 任务注册中心(zookeeper)

  • 持久存储(Mysql)

  • 1558579573502089465.png


SIA-TASK 的主要运行逻辑:


  1. 通过注解抓取任务执行器中的任务上报到任务注册中心

  2. 任务编排中心从任务注册中心获取数据进行编排保存入持久化存储

  3. 任务调度中心从持久化存储获取调度信息

  4. 任务调度中心按照调度逻辑访问任务执行器


1558579634863031131.png


UI 预览

首页提供多维度监控


  • 调度器信息:展示调度器信息(负载能力,预警值),以及作业分布情况。

  • 调度信息:展示调度中心触发的调度次数,作业、任务多维度调度统计。

  • 对接项目统计:对使用项目的系统进行统计,作业个数,任务个数等等。


1558579675498020611.png


调度监控提供对已提交的作业进行实时监控展示。


  • 作业状态实时监控:以项目组为单位面板,展示作业运行时状态。

  • 实时日志关联:可以通过涂色状态图标进行日志实时关联展示。


1558579796913058833.png


任务管理:提供任务元数据的相关操作


  • 任务元数据录入:手动模式的任务,可在此进行录入。

  • 任务连通性测试:提供任务连通性功能测试。

  • 任务元数据其他操作:修改,删除。


1558579874369083818.png


1558579958641070965.png


Job 管理:提供作业相关操作


  • 任务编排:进行作业的编排。

  • 发布作业: 作业的创建,修改,以及发布。

  • 级联设置:提供存在时间依赖的作业设置。


1558580011829032669.png


日志管理


1558580106434046557.png


  • 本地日志:日志界面简洁,查询快速;日志提供 7 天的调度日志,以供快速查询。


本文转载自宜信技术学院网站。


原文链接:http://college.creditease.cn/detail/249


2020 年 2 月 10 日 21:001118

评论 1 条评论

发布
用户头像
推荐一个强大的分布式任务调度与计算框架PowerJob,支持CRON、API、固定频率、固定延迟等多种调度策略,支持MapReduce分布式计算,支持工作流任务编排(DAG),功能强大,文档齐全,接入简单!
项目地址:https://github.com/KFCFans/PowerJob
2020 年 11 月 08 日 12:01
回复
没有更多了
发现更多内容

iOS - CollectionViewCell对应不同flow layout的实例

teoking

ios

阿里花500万年薪招天才黑客?官方回应:这种人得交给警察

程序员生活志

黑客 阿里

架构师训练营第六周作业--doris临时失效时序图

CATTY

时序图

关于架构的几件小事:架构概述(1)

北风

架构 架构设计 架构师 架构设计原则

要不要做一个gif动态图玩一下?

诸葛小猿

GIF ScreenToGif 动态图

[译] 图说前端-图解 React Native

梦见君笑

前端 前端框架 前端进阶训练营 漫画编程

万字详解加拿大央行CBDC分析报告

CECBC区块链专委会

玛雅密码社区不忘初心 共筑未来通证新经济

Geek_116789

如何不写一行代码就做出一款游戏来

Lawliet

Vue 游戏开发 游戏制作 游戏开源 前端进阶训练营

ARST Week7

时之虫

ARTS 打卡计划

如何编写可怕的 Java 代码?

武培轩

Java 编程 程序员 后端

架构师训练营第六周学习总结

张明森

AOP有几种实现方式?

八苦-瞿昙

技术 随笔杂谈 aop 代理 框架

如何使用预测性指标衡量敏捷转型的成功?

Atlassian

敏捷开发 开发工具 Atlassian Jira

[译] 图说前端-图解 React

梦见君笑

前端 前端框架 React 框架 前端训练

ARTS 04 - 使用 Gitlab + Generic Webhook Trigger 触发 Jenkins 自动化构建

jerry.mei

算法 ARTS 打卡计划 CI/CD 函数式编程 Elixir

U盘+grub2安装centos8实战

昌安古城

创业使人成长系列 (3)- 如何取个好名字

石云升

创业 成长 取名

使用 Generic Webhook Trigger 触发 Jenkins 多分支流水线自动化构建

jerry.mei

DevOps 持续集成 jenkins CI/CD 持续交付

java8的parallelStream提升数倍查询效率

网站,小程序,APP开发定制

java8

如何搭建Hive 环境

Rayjun

大数据 hive

大话设计模式 | 4. 装饰模式

Puran

C# 设计模式

如何在 Go 中写出高效的单元测试

_why先生

go testing slideshare

架构师训练营第六周作业

talen

[译] 图说前端-组件、Prop 和 State

梦见君笑

前端 前端框架 React 前端进阶训练营 漫画编程

JavaScript 混淆与逆向必读之 AST 节点类型名词基础

穿甲兵技术社区负责人

Java

工程规约 - maven统一管理

Man

maven DevOps 工程规约

了不起的 Webpack Scope Hoisting 学习指南

pingan8787

Java 前端 webpack

帮助小团队实现大梦想 | Atlassian 云产品免费使用

Atlassian

[译] 图解前端-深入理解 Props 和 State

梦见君笑

前端 前端框架 React 前端进阶训练营 漫画编程

技术解读:单集群如何做到2万+规模

数据湖洞见

大数据 FusionInsight 华为云 大集群

微服务任务调度平台(SIA-TASK)-InfoQ