【QCon】精华内容上线92%,全面覆盖“人工智能+”的典型案例!>>> 了解详情
写点什么

中小型研发团队架构实践:任务调度 Job

  • 2017-12-05
  • 本文字数:3054 字

    阅读完需:约 10 分钟

一、Job 简介

Job 类似于数据库中的作业,多用于实现定时执行任务。适用场景主要包括定时轮询数据库同步、定时处理数据、定时邮件通知等。

我们的 Job 分为操作系统级别定时任务 WinJob 和 HttpJob,其中,WinJob 使用开源的任务调度框架 Quartz.NET+ ZooKeeper 实现,HttpJob 的服务端是自主开发实现的,可以直接定时调用你的计划任务如微服务。下面分别予以介绍。

二、WinJob

WinJob 使用 Quartz.NET+ZooKeeper 来实现,Quartz.NET 实现调度,ZooKeeper 使用 MasterElection 来实现高可用,解决单点问题。ZooKeeper 后继有文章单独介绍,这里重点介绍 Quartz.NET 框架的使用。

Quartz.NET 是一个全功能的开源任务调度框架,通过简单的配置就可以实现强大的任务调度功能,使得开发人员不用过多关注任务的调度,只用关注项目的业务逻辑。使用任务调度框架的价值:

  1. 提高开发效率:开发人员只需要编写业务代码,而具体的任务调度只需要通过配置就可以实现。
  2. 提高软件的可靠性:同一应用多个任务之间可以很好的隔离起来,互不影响。
  3. 降低开发人员成本和开发复杂度:开发人员不需要对线程、Timer 很了解,就能实现一个强大的执行计划应用。
  4. 容易迁移:只需实现 Quartz.IJob 接口即可,调用一次业务逻辑的入口即可。
  5. 容易扩展:新业务只需增加配置即可。

基于 Quartz.NET 实现 Job 调度的方法:

在后端服务声明实例化一个调度器,在启动服务的时候启动调度器,相应的代码如下所示:

复制代码
/// <summary>        
/// 当前调度服务的调度器        
/// </summary>        
public IScheduler CurrentSched
{
  get; private set;
}
public JobService()        
{    
  InitializeComponent();  
  StdSchedulerFactory schedulerFactory = new StdSchedulerFactory();                
  CurrentSched = schedulerFactory.GetScheduler();      
}        
protected override void OnStart(string[] args)        
{    
  CurrentSched.Start();                
  logger.Info(" 调度服务成功启动!");        
}

创建相应的任务和触发器,之后把任务和关联的触发器加入之前声明的调度器 CurrentSched,相应的代码如下所示:

复制代码
/// <summary>        
/// 演示一个任务多触发器的使用        
/// </summary>        
private static void JobWithManyTriggerDemo()         {                
   IJobDetail simpleJob = JobBuilder.Create<SimpleJob>().WithIdentity(" 任务名称 ", " 任务组名 ").Build(); // 创建一个 simpleJob 任务                
   ITrigger simpleTrigger = TriggerBuilder.Create().WithIdentity(" 触发器名称 3", " 触发器组名 ").StartNow()        
       .WithSimpleSchedule(x => x.WithIntervalInSeconds(5).RepeatForever()).Build();   // 创建一个简单触发器,每隔 5 秒执行一次        
   CurrentSched.ScheduleJob(simpleJob, simpleTrigger);    // 把 simpleJob 任务、简单触发器加入调度器        
   ITrigger cronTrigger = TriggerBuilder.Create().WithIdentity(" 触发器名称 4", " 触发器组名 ").StartNow()        
       .WithCronSchedule("/10 * * ? * *").ForJob(simpleJob).Build();   // 创建一个为任务“simpleJob”服务的 Cron 触发器,每隔 10 秒执行一次      
    CurrentSched.ScheduleJob(cronTrigger);   // 把 Cron 触发器加入调度器        
}

在业务逻辑层继承 IJob 接口,并实现 Execute 方法,在该方法内实现需要调度的业务逻辑,相应的代码如下所示:

复制代码
/// <summary>    
/// 简单任务    
/// </summary>    
public class SimpleJob : IJob    
{            
   ILog logger = LogManager.GetLogger(typeof(SimpleJob));    
   public void Execute(IJobExecutionContext context)                
   {      
       Console.WriteLine(" 简单的任务演示!" + DateTime.Now.ToString("HH:mm:ss"));      
       logger.Info(" 简单的任务演示!" + DateTime.Now.ToString("HH:mm:ss"));                    
       // 业务逻辑处理                    
       Thread.Sleep(2000);            
    }    
}

三、HttpJob

通过自主开发的 JobServer,结合自主开发的 Job 集中式管理平台,可以实现满足绝大部分场景的 Job 调度。 这种 Job 调度使用方式使你只需关注实现业务系统的业务逻辑部分即可,无需在业务系统中额外关注如何使用 Quartz.NET。

3.1、HttpJob 的服务端实现

JobServer 实现的主要逻辑:

  1. 借助 Quartz,可实现多个线程(如 10 个线程)同时调用多个 HttpJob;
  2. 实现了 Get、Post、Head 三种方式的请求;
  3. 借助 ZooKeeper 的 MasterElection 来实现高可用,实现自动主备切换;
  4. 记录日志,方便追踪。

3.2、HttpJob 的后台——Job 集中式管理平台

在集中式 Job 管理平台中,配置相应的 Job 信息。配置完 Job 信息后,JobServer 获取到这些 Job 信息后,就能够定时执行这些 Job。要配置的 Job 信息包括 Job 的任务名称、任务组名、请求地址、请求类型、开始时间、触发器类型、次数、间隔时间 (s)、Cron-Like 表达式以及状态。

其中请求地址就是 JobServer 实际定时调用的任务的 http 地址,例如 HttpJobDemo 的 WebForm1.aspx 这个任务的运行地址 http://localhost:10786/WebForm1.aspx。

3.3、采用 HttpJob 进行任务调度的优势和约束

采用 HttpJob 的优势

  1. 高可用:借助网站集群巧妙地解决 Job 服务的单点问题。
  2. 方便发布:不用重启 Job 服务。
  3. 减少依赖,易学易用,不用关注线程、Windows 服务方面的知识。
  4. 数据分片,可以采用 URL 来取模 + 多个 HttpJob。

采用 HttpJob 的约束

  1. 由于请求 HttpJob 的最长响应时间是 30 秒,所以 Job 运行时间一旦超过 30 秒,则建议为 Job 先创建异步线程,立即返回。
  2. Job 调度的频率最少间隔时间是 1 分钟,因为通过 HttpJob 通知并不是件高效的事情。
  3. 为了安全应建立专业的 Job 集群,一般两台即可,外部不可访问,SLB 采用简单轮询方案。
  4. 新增及修改 Job 配置,10 分钟生效。

四、Cron 表达式

Cron 表达式格式:秒 分 时 日 月 周 年(可选)。要遵守的规范请见下表:

五、Demo 下载及更多资料

本系列文章涉及内容清单如下(并不按这顺序发布),其中有感兴趣的,欢迎关注:

作者介绍

张辉清,10 多年的 IT 老兵,先后担任携程架构师、古大集团首席架构、中青易游 CTO 等职务,主导过两家公司的技术架构升级改造工作。现关注架构与工程效率,技术与业务的匹配与融合,技术价值与创新。

杨丽,拥有多年互联网应用系统研发经验,曾就职于古大集团,现任职中青易游的系统架构师,主要负责公司研发中心业务系统的架构设计以及新技术积累和培训。现阶段主要关注开源软件、软件架构、微服务以及大数据。

感谢雨多田光对本文的审校。

2017-12-05 16:475992

评论

发布
暂无评论
发现更多内容

小程序直播 + 电商,想做新零售电商就用它吧!

CRMEB

结合案例:Flink框架中的最底层API(ProcessFunction)用法

百思不得小赵

大数据 flink 7月月更

31年前的Beyond演唱会,是如何超清修复的?

字节跳动视频云技术团队

产品好不好,谁说了算?Sonar提出分析的性能指标,帮助您轻松判断产品性能及表现

龙智—DevSecOps解决方案

华为云数据库DDS产品深度赋能

程思扬

数据库 华为云 DDS

SpringSecurity会话管理

急需上岸的小谢

7月月更

室外LED屏幕防水吗?

Dylan

LED显示屏 室外显示屏

易周金融 | Q1保险行业活跃人数8688.67万人 19家支付机构牌照被注销

易观分析

金融 银行

浅识k8s中的准入控制器

火线安全

云安全 云安全技术 云安全攻防 云安全研究

洞见科技解决方案总监薛婧:联邦学习助力数据要素安全流通

洞见科技

数据安全 隐私计算 数据隐私计算

2022年中国移动阅读市场年度综合分析

易观分析

移动阅读

Helix Swarm中文包发布,Perforce进一步提升中国用户体验

龙智—DevSecOps解决方案

perforce Helix Core Helix Swarm

都在说DevOps,你真正了解它吗?

龙智—DevSecOps解决方案

DevOps 运维 开发

关于对JavaScript变量提升的理解

是乃德也是Ned

JavaScript 前端 7月月更

Node の MongoDB安装

空城机

mongodb Node 7月月更

实战:fabric 用户证书吊销操作流程

BSN研习社

fabric

对话龙智高级咨询顾问、Atlassian认证专家叶燕秀:Atlassian产品进入后Server时代,中国用户应当何去何从?

龙智—DevSecOps解决方案

Server Atlassian Jira DC版

抓到Dubbo异步调用的小BUG,再送你一个贡献开源代码的机会

捉虫大师

开源 dubbo 问题排查 7月月更

基于STM32+华为云IOT设计的酒驾监控系统

DS小龙哥

7月月更

教你学c++算法题中最头疼的动态规划

KEY.L

7月月更

【LeetCode】粉刷房子Java题解

Albert

LeetCode 7月月更

国内酒店交易DDD应用与实践——代码篇

Qunar技术沙龙

架构

一个数据人对领域模型理解与深入

松子(李博源)

大数据 领域模型 模型设计

回顾V神 Rollups 神作,详解以太坊为何需要二层扩展方案

TinTinLand

区块链 科技

CSS 文本阴影 text-shadow 悬停效果

南城FE

前端 动画 HTML5, CSS3 7月月更 hover

程序员的焦虑

沃德

程序员 7月月更

【Docker 那些事儿】容器为什么傲娇?全靠镜像撑腰

Albert Edison

7月月更

实时云交互如何助力教育行业发展

3DCAT实时渲染

实时云渲染 云交互

【一库】vueuse:我不许身为vuer,你的工具集只有lodash!

摸鱼的春哥

Vue 前端 Vue3 7月月更

程序员转方向

沃德

程序员 7月月更

分布式BASE理论

源字节1号

软件开发 后端开发

中小型研发团队架构实践:任务调度Job_架构_张辉清_InfoQ精选文章