[Java 探索者之路] 一个大厂都在用的分布式任务调度平台

2024-03-03 11:52
文章标签 java 平台 大厂 分布式 任务调度 探索者

本文主要是介绍[Java 探索者之路] 一个大厂都在用的分布式任务调度平台，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

分布式任务调度平台是一种能够在分布式计算环境中调度和管理任务的系统，在此环境下，各个任务可以在独立的节点上运行。它有助于提升资源利用率，增强系统扩展性以及提高系统对错误的容忍度。

文章目录

    • 1. 分布式任务调度平台
      • 1. 基本概念
        • 1.1 任务调度
        • 1.2 分布式计算
      • 2. 分布式任务调度平台的功能
      • 3. 分布式任务调度平台的应用场景
      • 4. 简而言之
    • 2. 什么是 xxl-job
      • 2.1 XXL-JOB的架构
    • 3. xxl-job 的简单使用
      • 1. 源码拉取
      • 2. 启动 db
      • 3. 初始化调度中心数据库
      • 4. 修改调度中心的数据库配置以及 logback 的日志地址
      • 5. 成功启动调度中心
      • 6. 打开调度中心的 web 页面
      • 7. 启动示例执行器代码
      • 8. 随便找一个任务注册
      • 9. 查看日志信息，发现执行结果失败了
      • 10. 回去看一眼源码，发现是

1. 分布式任务调度平台

1. 基本概念

1.1 任务调度

任务调度，是指在多任务的环境下，合理地分配系统资源，调度各个任务在什么时候，由哪一个处理器处理，以达到满足用户需求、提高系统资源利用率、提高系统吞吐量的目的。

1.2 分布式计算

分布式计算是指多个计算机系统之间通过网络连接，共享系统资源来实现高性能计算的技术。这种计算技术可以应对大数据量、高并发量、高I/O的场景。

2. 分布式任务调度平台的功能

分布式任务调度平台主要用于管理和调度任务，其主要功能包括：

  • 任务调度：按照预设的规则（如：时间点、时间间隔等）触发任务的执行。
  • 负载均衡：根据系统的负载情况，自动调整任务在各节点间的分配，均衡各节点的负载。
  • 容错处理：当某个节点出现故障时，能自动将该节点上的任务转移到其他节点上执行。
  • 任务监控：能够实时监控任务的运行状况，如运行时间、运行结果等。

3. 分布式任务调度平台的应用场景

以下是一些常见的应用场景：

  • 定时任务：在特定时间执行某项任务，例如每天晚上12点备份数据库。
  • 周期性任务：周期性地执行某项任务，例如每隔一小时统计网站的访问量。
  • 流量控制：在系统流量大量增长时，分布式任务调度平台可以按照预定的规则，调度更多的资源来处理任务，以应对流量峰值。

总的来说，分布式任务调度平台是大型分布式系统不可或缺的一部分，是分布式环境中任务管理的关键组件。

4. 简而言之

分布式调度平台，就是有个老大决定一个定时任务在多台机器中的哪一台机器执行。

2. 什么是 xxl-job

XXL-JOB是一个全功能、高扩展性的开源分布式任务调度框架，也是一个优秀的定时任务调度平台，给开发者带来便捷的定时任务管理和控制能力。它的核心目标是开发迅速、学习简单、轻量级、易扩展。

2.1 XXL-JOB的架构

XXL-JOB的系统架构设计清晰明了，可以粗略的分为三层：

  • 调度中心：调度中心是XXL-JOB的核心，负责触发调度操作，同时提供操作界面。
  • 执行器：执行器是任务运行的载体，负责接收调度中心的触发信号并执行相应的任务。
  • 调度数据库：用于记录调度信息，如任务信息、调度日志等。

值得一提的是，XXL-JOB支持自定义任务处理逻辑，得益于这一点，它能用于各种场景，例如常见的数据同步、数据清洗等。
image.png

3. xxl-job 的简单使用

进入(xxl-job 的官网) ，如果想了解下的可以了解下，不想了解的就直接开始吧。

因为是开源项目，所以我接下来也是直接拉取的源码进行实验。如果是线上环境建议使用容器进行集群部署。

1. 源码拉取

  1. 打开 github 官网，选择 realease 版本，因为 master 可能存在不稳定代码，但是实验嘛，其实也无所谓。https://github.com/xuxueli/xxl-job/
  2. 获取到下载链接进行下载

image.png

  1. 拉取到的项目结构大概是以下这样，其中 docker目录是我 docker-compose的数据库相关文件，方便测试。

image.png
以下是我的 docker-compose相关文件信息
image.png

2. 启动 db

进入到指定目录 docker 目录, 一键启动目录
image.png

3. 初始化调度中心数据库

复制源码文件中的 db 文件到数据库中执行初始化。
image.png
我这里就直接到 http://127.0.0.1:3307phpmyadmin 进行数据库操作了。
执行前后
image.png

4. 修改调度中心的数据库配置以及 logback 的日志地址

image.png
image.png

5. 成功启动调度中心

image.png

6. 打开调度中心的 web 页面

浏览器打开 http://127.0.0.1:8080/xxl-job-admin/, 输入初始账号 admin 密码 123456
image.png
登录成功
image.png

7. 启动示例执行器代码

image.png
可以看到启动了两个服务分别在 9998的无框架服务以及 9999的 spring 项目。回到调度中心的 web 页面，你会发现两个执行器已经自动注册到了调度中心。
image.png
在数据库中的表现为
image.png
此时，假如我们去修改其中一个调度器的名称，重新启动会怎样呢？
image.png
可以看到只剩 9999 的服务
image.png
这时候我们需要手动把新的执行器添加上。
image.png
刷新可以看到新的执行器自动注册
image.png

8. 随便找一个任务注册

image.png
image.png
启动任务
image.png

9. 查看日志信息，发现执行结果失败了

image.png

10. 回去看一眼源码，发现是

image.png

这篇关于[Java 探索者之路] 一个大厂都在用的分布式任务调度平台的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/769536。

相关文章

Java中流式并行操作parallelStream的原理和使用方法

Java中流式并行操作parallelStream的原理和使用方法

《Java中流式并行操作parallelStream的原理和使用方法》本文详细介绍了Java中的并行流（parallelStream）的原理、正确使用方法以及在实际业务中的应用案例,并指出在使用并行流... 目录Java中流式并行操作parallelStream0. 问题的产生1. 什么是parallelS
阅读更多...
Java中Redisson 的原理深度解析

Java中Redisson 的原理深度解析

《Java中Redisson的原理深度解析》Redisson是一个高性能的Redis客户端,它通过将Redis数据结构映射为Java对象和分布式对象,实现了在Java应用中方便地使用Redis,本文... 目录前言一、核心设计理念二、核心架构与通信层1. 基于 Netty 的异步非阻塞通信2. 编解码器三、
阅读更多...
SpringBoot基于注解实现数据库字段回填的完整方案

SpringBoot基于注解实现数据库字段回填的完整方案

《SpringBoot基于注解实现数据库字段回填的完整方案》这篇文章主要为大家详细介绍了SpringBoot如何基于注解实现数据库字段回填的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以了解... 目录数据库表pom.XMLRelationFieldRelationFieldMapping基础的一些代
阅读更多...
一篇文章彻底搞懂macOS如何决定java环境

一篇文章彻底搞懂macOS如何决定java环境

《一篇文章彻底搞懂macOS如何决定java环境》MacOS作为一个功能强大的操作系统,为开发者提供了丰富的开发工具和框架,下面：本文主要介绍macOS如何决定java环境的相关资料,文中通过代码... 目录方法一：使用 which命令方法二：使用 Java_home工具（Apple 官方推荐）那问题来了，
阅读更多...
Java HashMap的底层实现原理深度解析

Java HashMap的底层实现原理深度解析

《JavaHashMap的底层实现原理深度解析》HashMap基于数组+链表+红黑树结构,通过哈希算法和扩容机制优化性能,负载因子与树化阈值平衡效率,是Java开发必备的高效数据结构,本文给大家介绍... 目录一、概述：HashMap的宏观结构二、核心数据结构解析1. 数组（桶数组）2. 链表节点（Node
阅读更多...
Java AOP面向切面编程的概念和实现方式

Java AOP面向切面编程的概念和实现方式

《JavaAOP面向切面编程的概念和实现方式》AOP是面向切面编程,通过动态代理将横切关注点（如日志、事务）与核心业务逻辑分离,提升代码复用性和可维护性,本文给大家介绍JavaAOP面向切面编程的概... 目录一、AOP 是什么？二、AOP 的核心概念与实现方式核心概念实现方式三、Spring AOP 的关
阅读更多...
详解SpringBoot+Ehcache使用示例

详解SpringBoot+Ehcache使用示例

《详解SpringBoot+Ehcache使用示例》本文介绍了SpringBoot中配置Ehcache、自定义get/set方式,并实际使用缓存的过程,文中通过示例代码介绍的非常详细,对大家的学习或者... 目录摘要概念内存与磁盘持久化存储：配置灵活性：编码示例引入依赖：配置ehcache.XML文件：配置
阅读更多...
Java 虚拟线程的创建与使用深度解析

Java 虚拟线程的创建与使用深度解析

《Java虚拟线程的创建与使用深度解析》虚拟线程是Java19中以预览特性形式引入,Java21起正式发布的轻量级线程,本文给大家介绍Java虚拟线程的创建与使用,感兴趣的朋友一起看看吧... 目录一、虚拟线程简介1.1 什么是虚拟线程？1.2 为什么需要虚拟线程？二、虚拟线程与平台线程对比代码对比示例：三
阅读更多...
Nginx分布式部署流程分析

Nginx分布式部署流程分析

《Nginx分布式部署流程分析》文章介绍Nginx在分布式部署中的反向代理和负载均衡作用,用于分发请求、减轻服务器压力及解决session共享问题,涵盖配置方法、策略及Java项目应用,并提及分布式事... 目录分布式部署NginxJava中的代理代理分为正向代理和反向代理正向代理反向代理Nginx应用场景
阅读更多...
Java中的.close()举例详解

Java中的.close()举例详解

《Java中的.close()举例详解》.close()方法只适用于通过window.open()打开的弹出窗口,对于浏览器的主窗口,如果没有得到用户允许是不能关闭的,：本文主要介绍Java中的.... 目录当你遇到以下三种情况时，一定要记得使用 .close()：用法作用举例如何判断代码中的 input
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2