首发于 技术
springboot集成xxl-job的详细使用

springboot集成xxl-job的详细使用

概述

首先我们要知道什么是XXL-JOB?

官方简介:XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用

XXL-JOB的有点特性:

1、简单:支持通过Web页面对任务进行CRUD操作,操作简单,一分钟上手;

2、动态:支持动态修改任务状态、启动/停止任务,以及终止运行中任务,即时生效;
3、调度中心HA(中心式):调度采用中心式设计,“调度中心”自研调度组件并支持集群部署,可保证调度中心HA;
4、执行器HA(分布式):任务分布式执行,任务"执行器"支持集群部署,可保证任务执行HA;
5、注册中心: 执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时,也支持手动录入执行器地址;
6、弹性扩容缩容:一旦有新执行器机器上线或者下线,下次调度时将会重新分配任务;
7、路由策略:执行器集群部署时提供丰富的路由策略,包括:第一个、最后一个、轮询、随机、一致性HASH、最不经常使用、最近最久未使用、故障转移、忙碌转移等;
8、故障转移:任务路由策略选择"故障转移"情况下,如果执行器集群中某一台机器故障,将会自动Failover切换到一台正常的执行器发送调度请求。
9、阻塞处理策略:调度过于密集执行器来不及处理时的处理策略,策略包括:单机串行(默认)、丢弃后续调度、覆盖之前调度;
10、任务超时控制:支持自定义任务超时时间,任务运行超时将会主动中断任务;
11、任务失败重试:支持自定义任务失败重试次数,当任务失败时将会按照预设的失败重试次数主动进行重试;其中分片任务支持分片粒度的失败重试;
12、任务失败告警;默认提供邮件方式失败告警,同时预留扩展接口,可方便地扩展短信、钉钉等告警方式;
13、分片广播任务:执行器集群部署时,任务路由策略选择"分片广播"情况下,一次任务调度将会广播触发集群中所有执行器执行一次任务,可根据分片参数开发分片任务;
14、动态分片:分片广播任务以执行器为维度进行分片,支持动态扩容执行器集群从而动态增加分片数量,协同进行业务处理;在进行大数据量业务操作时可显著提升任务处理能力和速度。
15、事件触发:除了"Cron方式"和"任务依赖方式"触发任务执行之外,支持基于事件的触发任务方式。调度中心提供触发任务单次执行的API服务,可根据业务事件灵活触发

架构+工作流程图






使用场景

个人认为xxl-job比较适合运行耗时比较长的大任务(定时大任务的估计也差不多),或者数量少耗时短的微任务;对于那种数量多或是运行时间较短的微任务可能不太适合(我的项目正好是后面这种...)。

再具体点,可以细分为两类:

  • 相同 jobId:适合数量少耗时长的大任务;不适合数量多或耗时短的微任务,不适合数量多耗时长 且需要尽快获得执行结果 的大任务。
  • 不同 jobId:适合耗时长的大任务;不适合耗时短的微任务。

以上结论是我的个人观点,如有错误请多指正。

使用

​1.引入jar包

<!--分布式调度 xxl-job -->
<dependency>
    <groupId>com.xuxueli</groupId>
    <artifactId>xxl-job-core</artifactId>
    <version>1.9.1</version>
</dependency>


2.配置XXL-JOB的数据源

# 调度中心部署跟地址:如调度中心集群部署存在多个地址则用逗号分隔。执行器将会使用该地址进行"执行器心跳注册"和"任务结果回调"
xxl.job.admin.addresses=http://127.0.0.1:8080/xxl-job-admin
# 执行器"AppName"和地址信息配置:AppName执行器心跳注册分组依据;地址信息用于"调度中心请求并触发任务"和"执行器注册"。执行器默认端口为9999,执行器IP默认为空表示自动获取IP,多网卡时可手动设置指定IP,该IP不会绑定Host仅作为通讯实用。单机部署多个执行器时,注意要配置不同执行器端口
xxl.job.executor.appname=xxl-job-executor-sample
xxl.job.executor.ip=
xxl.job.executor.port=9999
# 执行器通讯TOKEN,非空时启用
xxl.job.accessToken=
# 执行器运行日志文件存储的磁盘位置,需要对该路径拥有读写权限
xxl.job.executor.logpath=/data/applogs/xxl-job/jobhandler
# 执行器Log文件定期清理功能,指定日志保存天数,日志文件过期自动删除。限制至少保持3天,否则功能不生效;
xxl.job.executor.logretentiondays=-1


3.创建配置类

package com.macro.mall.tiny.demo.config;
import com.xxl.job.core.executor.XxlJobExecutor;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.ComponentScan;
import org.springframework.context.annotation.Configuration;
 * xxl-job配置文件
@Configuration
//指定任务Handler所在包路径
@ComponentScan(basePackages = "com.xxx.jobhandler")
public class XxlJobConfig {
   private static final Logger logger = LoggerFactory.getLogger(XxlJobConfig.class);
   @Value("${xxl.job.admin.addresses}")
   private String adminAddresses;
   @Value("${xxl.job.executor.appname}")
   private String appName;
   @Value("${xxl.job.executor.ip}")
   private String ip;
   @Value("${xxl.job.executor.port}")
   private int port;
   @Value("${xxl.job.executor.logpath}")
   private String logPath;
   @Value("${xxl.job.accessToken}")
   private String accessToken;
   @Value("${xxl.job.executor.logretentiondays}")
   private int logRetentionDays;
   @Bean(initMethod = "start", destroyMethod = "destroy")
   public XxlJobExecutor xxlJobExecutor() {
      logger.info(">>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> xxl-job config start init.>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>");
      XxlJobExecutor xxlJobExecutor = new XxlJobExecutor();
      xxlJobExecutor.setAdminAddresses(adminAddresses);
      xxlJobExecutor.setAppName(appName);
      xxlJobExecutor.setIp(ip);
      xxlJobExecutor.setPort(port);
      xxlJobExecutor.setAccessToken(accessToken);
      xxlJobExecutor.setLogPath(logPath);
      xxlJobExecutor.setLogRetentionDays(-1);
      logger.info(">>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>> xxl-job config end init.>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>>");
      return xxlJobExecutor;
}

4.创建定时任务

package com.macro.mall.tiny.demo.job;
import com.macro.mall.tiny.demo.service.impl.AddCreateTableJobImpl;
import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.IJobHandler;
import com.xxl.job.core.handler.annotation.JobHandler;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;
import java.util.Date;
 * 任务Handler示例(Bean模式)
 * 开发步骤:
 * 1、继承"IJobHandler":“com.xxl.job.core.handler.IJobHandler”;
 * 2、注册到Spring容器:添加“@Component”注解,被Spring容器扫描为Bean实例;
 * 3、注册到执行器工厂:添加“@JobHandler(value="自定义jobhandler名称")”注解,注解value值对应的是调度中心新建任务的JobHandler属性的值。
 * 4、执行日志:需要通过 "XxlJobLogger.log" 打印执行日志;
 * 5、任务执行结果枚举:SUCCESS、FAIL、FAIL_TIMEOUT
@JobHandler(value = "GPS_DEVICE_LOG_JOB")
@Component
public class GpsDeviceLogHandler extends IJobHandler {
    private static final Logger LOG = LoggerFactory.getLogger(GpsDeviceLogHandler.class);
    @Autowired
    private AddCreateTableJobImpl addCreateTableJobImpl;
    @Override
    public ReturnT<String> execute(String param) throws Exception {
        LOG.info("GPS_DEVICE_LOG_JOB==================start STAFF_STEP=========================!");
        //每天晚上定时创建第二日sql表
        addCreateTableJobImpl.addCreateTable(new Date());
        LOG.info("===================end STAFF_STEP=========================!");
        return new ReturnT(200, "执行成功:");
}

5.项目结构





访问管理平台

1.配置执行器




注意:配置中自动注册不用多说,使用手动注入时服务器地址为部署定时器代码的服务地址,而端口号则是使用->第2步中数据源的端口号;

2.创建执行任务




按照提示填入,0 1 * * * ? 代表每分钟执行一次。

3.效果





4.任务具体配置的含义

执行器:任务的绑定的执行器,任务触发调度时将会自动发现注册成功的执行器, 实现任务自动发现功能; 另一方面也可以方便的进行任务分组。每个任务必须绑定一个执行器, 可在 "执行器管理" 进行设置;
- 任务描述:任务的描述信息,便于任务管理;
- 路由策略:当执行器集群部署时,提供丰富的路由策略,包括;
FIRST(第一个):固定选择第一个机器;
LAST(最后一个):固定选择最后一个机器;
ROUND(轮询):;
RANDOM(随机):随机选择在线的机器;
CONSISTENT_HASH(一致性HASH):每个任务按照Hash算法固定选择某一台机器,且所有任务均匀散列在不同机器上。
LEAST_FREQUENTLY_USED(最不经常使用):使用频率最低的机器优先被选举;
LEAST_RECENTLY_USED(最近最久未使用):最久为使用的机器优先被选举;
FAILOVER(故障转移):按照顺序依次进行心跳检测,第一个心跳检测成功的机器选定为目标执行器并发起调度;
BUSYOVER(忙碌转移):按照顺序依次进行空闲检测,第一个空闲检测成功的机器选定为目标执行器并发起调度;
SHARDING_BROADCAST(分片广播):广播触发对应集群中所有机器执行一次任务,同时系统自动传递分片参数;可根据分片参数开发分片任务;
- Cron:触发任务执行的Cron表达式;
- 运行模式:
BEAN模式:任务以JobHandler方式维护在执行器端;需要结合 "JobHandler" 属性匹配执行器中任务;
GLUE模式(Java):任务以源码方式维护在调度中心;该模式的任务实际上是一段继承自IJobHandler的Java类代码并 "groovy" 源码方式维护,它在执行器项目中运行,可使用@Resource/@Autowire注入执行器里中的其他服务;
GLUE模式(Shell):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "shell" 脚本;
GLUE模式(Python):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "python" 脚本;
GLUE模式(PHP):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "php" 脚本;
GLUE模式(NodeJS):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "nodejs" 脚本;
GLUE模式(PowerShell):任务以源码方式维护在调度中心;该模式的任务实际上是一段 "PowerShell" 脚本;
- JobHandler:运行模式为 "BEAN模式" 时生效,对应执行器中新开发的JobHandler类“@JobHandler”注解自定义的value值;
- 阻塞处理策略:调度过于密集执行器来不及处理时的处理策略;
单机串行(默认):调度请求进入单机执行器后,调度请求进入FIFO队列并以串行方式运行;
丢弃后续调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,本次请求将会被丢弃并标记为失败;
覆盖之前调度:调度请求进入单机执行器后,发现执行器存在运行的调度任务,将会终止运行中的调度任务并清空队列,然后运行本地调度任务;