几种主流的分布式定时任务，你知道哪些？

2024-06-02 07:28| 来源: 网络整理| 查看: 265

点击上方“芋道源码”，选择“设为星标”

管她前浪，还是后浪？

能浪的浪，才是好浪！

每天 10:33 更新文章，每天掉亿点点头发...

源码精品专栏

原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析消息中间件 RocketMQ 源码解析数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中间件 Elastic-Job 源码解析分布式事务中间件 TCC-Transaction 源码解析Eureka 和 Hystrix 源码解析Java 并发源码

来源：juejin.cn/post/

6930912870058328071

单点定时任务JDK原生Spring Task基于 Redis 实现分布式定时任务引入分布式定时任务组件or中间件总结

单点定时任务JDK原生

自从JDK1.5之后，提供了ScheduledExecutorService代替TimerTask来执行定时任务，提供了不错的可靠性。

代码语言：javascript复制public class SomeScheduledExecutorService { public static void main(String[] args) { // 创建任务队列，共 10 个线程 ScheduledExecutorService scheduledExecutorService = Executors.newScheduledThreadPool(10); // 执行任务: 1秒后开始执行，每 30秒执行一次 scheduledExecutorService.scheduleAtFixedRate(() -> { System.out.println("执行任务：" + new Date()); }, 10, 30, TimeUnit.SECONDS); } }Spring Task

Spring Framework自带定时任务，提供了cron表达式来实现丰富定时任务配置。新手推荐使用https://cron.qqe2.com/这个网站来匹配你的cron表达式。

代码语言：javascript复制@Configuration @EnableScheduling public class SomeJob { private static final Logger LOGGER = LoggerFactory.getLogger(SomeJob.class); /** * 每分钟执行一次（例：18:01:00，18:02:00） * 秒分钟小时日月星期年 */ @Scheduled(cron = "0 0/1 * * * ? *") public void someTask() { //... } }

单点的定时服务在目前微服务的大环境下，应用场景越来越局限，所以尝鲜一下分布式定时任务吧。

基于 Redis 实现

相较于之前两种方式，这种基于Redis的实现可以通过多点来增加定时任务，多点消费。但是要做好防范重复消费的准备。

通过ZSet的方式

将定时任务存放到ZSet集合中，并且将过期时间存储到ZSet的Score字段中，然后通过一个循环来判断当前时间内是否有需要执行的定时任务，如果有则进行执行。

具体实现代码如下：

代码语言：javascript复制/** * Description: 基于Redis的ZSet的定时任务 . * * @author mxy */ @Configuration @EnableScheduling public class RedisJob { public static final String JOB_KEY = "redis.job.task"; private static final Logger LOGGER = LoggerFactory.getLogger(RedisJob.class); @Autowired private StringRedisTemplate stringRedisTemplate; /** * 添加任务. * * @param task */ public void addTask(String task, Instant instant) { stringRedisTemplate.opsForZSet().add(JOB_KEY, task, instant.getEpochSecond()); } /** * 定时任务队列消费 * 每分钟消费一次（可以缩短间隔到1s） */ @Scheduled(cron = "0 0/1 * * * ? *") public void doDelayQueue() { long nowSecond = Instant.now().getEpochSecond(); // 查询当前时间的所有任务 Set strings = stringRedisTemplate.opsForZSet().range(JOB_KEY, 0, nowSecond); for (String task : strings) { // 开始消费 task LOGGER.info("执行任务:{}", task); } // 删除已经执行的任务 stringRedisTemplate.opsForZSet().remove(JOB_KEY, 0, nowSecond); } }

适用场景如下：

订单下单之后15分钟后，用户如果没有付钱，系统需要自动取消订单。红包24小时未被查收，需要延迟执退还业务；某个活动指定在某个时间内生效&失效；

优势是：

省去了MySQL的查询操作，而使用性能更高的Redis做为代替；不会因为停机等原因，遗漏要执行的任务；键空间通知的方式

我们可以通过Redis的键空间通知来实现定时任务，它的实现思路是给所有的定时任务设置一个过期时间，等到了过期之后，我们通过订阅过期消息就能感知到定时任务需要被执行了，此时我们执行定时任务即可。

默认情况下Redis是不开启键空间通知的，需要我们通过config set notify-keyspace-events Ex的命令手动开启。开启之后定时任务的代码如下:

自定义监听器代码语言：javascript复制 /** * 自定义监听器. */ public class KeyExpiredListener extends KeyExpirationEventMessageListener { public KeyExpiredListener(RedisMessageListenerContainer listenerContainer) { super(listenerContainer); } @Override public void onMessage(Message message, byte[] pattern) { // channel String channel = new String(message.getChannel(), StandardCharsets.UTF_8); // 过期的key String key = new String(message.getBody(), StandardCharsets.UTF_8); // todo 你的处理 } }设置该监听器代码语言：javascript复制/** * Description: 通过订阅Redis的过期通知来实现定时任务 . * * @author mxy */ @Configuration public class RedisExJob { @Autowired private RedisConnectionFactory redisConnectionFactory; @Bean public RedisMessageListenerContainer redisMessageListenerContainer() { RedisMessageListenerContainer redisMessageListenerContainer = new RedisMessageListenerContainer(); redisMessageListenerContainer.setConnectionFactory(redisConnectionFactory); return redisMessageListenerContainer; } @Bean public KeyExpiredListener keyExpiredListener() { return new KeyExpiredListener(this.redisMessageListenerContainer()); } }

Spring会监听符合以下格式的Redis消息

代码语言：javascript复制private static final Topic TOPIC_ALL_KEYEVENTS = new PatternTopic("__keyevent@*");

基于Redis的定时任务能够适用的场景也比较有限，但实现上相对简单，但对于功能幂等有很大要求。从使用场景上来说，更应该叫做延时任务。

场景举例:

订单下单之后15分钟后，用户如果没有付钱，系统需要自动取消订单。红包24小时未被查收，需要延迟执退还业务；

优劣势是：

被动触发，对于服务的资源消耗更小；Redis的Pub/Sub不可靠，没有ACK机制等，但是一般情况可以容忍；键空间通知功能会耗费一些CPU

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序，支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能。项目地址：https://github.com/YunaiV/ruoyi-vue-pro

分布式定时任务引入分布式定时任务组件or中间件

将定时任务作为单独的服务，遏制了重复消费，独立的服务也有利于扩展和维护。

quartz

依赖于MySQL，使用相对简单，可多节点部署，通过竞争数据库锁来保证只有一个节点执行任务。没有图形化管理页面，使用相对麻烦。

elastic-job-lite

依赖于Zookeeper，通过zookeeper的注册与发现，可以动态的添加服务器。

多种作业模式失效转移运行状态收集多线程处理数据幂等性容错处理支持spring命名空间有图形化管理页面LTS

依赖于Zookeeper，集群部署,可以动态的添加服务器。可以手动增加定时任务，启动和暂停任务。

业务日志记录器SPI扩展支持故障转移节点监控多样化任务执行结果支持FailStore容错动态扩容对spring相对友好有监控和管理图形化界面xxl-job

国产，依赖于MySQL,基于竞争数据库锁保证只有一个节点执行任务，支持水平扩容。可以手动增加定时任务，启动和暂停任务。

弹性扩容分片广播故障转移Rolling实时日志GLUE（支持在线编辑代码，免发布）任务进度监控任务依赖数据加密邮件报警运行报表优雅停机国际化（中文友好）

基于微服务的思想，构建在 B2C 电商场景下的项目实战。核心技术栈，是 Spring Boot + Dubbo 。未来，会重构成 Spring Cloud Alibaba 。项目地址：https://github.com/YunaiV/onemall