Linux部署调度工具xxl-job

2024-06-04 17:04
文章标签 工具 linux 部署 调度 xxl job

本文主要是介绍Linux部署调度工具xxl-job,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景:
Pentaho Data Integration(kettle)作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix,linux平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候,通常采用以下几种方式:使用spoon程序来启动Job,使用crontab或计划任务,自主开发java程序来调用kettle的类库

xxl-job介绍
​ xxl-job是一个分布式的任务调度平台,其核心设计目标是:学习简单、开发迅速、轻量级、易扩展,现在已经开放源代码并接入多家公司的线上产品线,开箱即用。xxl是xxl-job的开发者大众点评的许雪里名称的拼音开头

Linux部署xxl-job

  1. 准备 xxl-job 离线tar包
  • xxl-job-2.3.0.tar.gz
  • apache-maven-3.8.5-bin.tar.gz
  • jdk-8u211-linux-x64.tar.gz
  1. 上传资源到linux服务器
  • cd /usr/local
  • mkdir xxl-job
  • cd xxl-job
  • rz

[root@Online local]# cd /usr/local/
[root@Online local]# mkdir xxl-job
[root@Online local]# cd xxl-job/
[root@Online xxl-job]# rz
在这里插入图片描述
3. 部署maven环境

  • 解压apache-maven-3.8.5-bin.tar.gz
    tar -xvzf apache-maven-3.8.5-bin.tar.gz

在这里插入图片描述

  • 重命名apache-maven-3.8.5为maven
    mv apache-maven-3.8.5 maven
    在这里插入图片描述
  1. 部署jdk
  • 解压jdk-8u211-linux-x64.tar.gz
    tar -xvzf jdk-8u211-linux-x64.tar.gz -C /usr/local/xxl-job
    在这里插入图片描述
  • 重命名jdk1.8.0_211为java
    在这里插入图片描述
  • 移动maven到java目录下
    mv maven java/在这里插入图片描述
  1. 配置环境变量
  • 配置jdk,maven
    vim /etc/profile

JAVA_HOME=/usr/local/xxl-job/java
MAVEN_HOME=/usr/local/xxl-job/java/maven
PATH= P A T H : PATH: PATH:JAVA_HOME/bin:$MAVEN_HOME/bin
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL JAVA_HOME MAVEN_HOME
在这里插入图片描述

  • 刷新配置
    source /etc/profile
    在这里插入图片描述
  • 验证是否部署成功
    java -version
    在这里插入图片描述
    mvn -v
    在这里插入图片描述
  1. 创建xxl-job数据库
    在这里插入图片描述
    在这里插入图片描述
  2. 解压xxl-job-2.3.0.tar.gz

tar -xzf xxl-job-2.3.0.tar.gz
在这里插入图片描述
8. 更改配置文件

  • 修改数据库信息,其他的端口用户密码等这里用默认的
    cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-admin/src/main/resources
    vim application.properties
    在这里插入图片描述
  • 更改日志路径
    vim logback.xml
    /data/applogs/xxl-job/xxl-job-admin.log -->/usr/local/xxl-job/xxl-job-admin.log
    在这里插入图片描述
  • 更改执行器文件
    cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/resources
    vim application.properties
    在这里插入图片描述
  • 更改logback.xml文件
    /data/applogs/xxl-job/xxl-job-executor-sample-springboot.log -->/usr/local/xxl-job/xxl-job-executor-sample-springboot.log
    在这里插入图片描述
  1. mvn编译
    cd /usr/local/xxl-job/xxl-job-2.3.0
    在这里插入图片描述

mvn package
在这里插入图片描述
10. 启动xxl-job-admin-2.3.0.jar
cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-admin/target
nohup java -jar xxl-job-admin-2.3.0.jar > xxl-job-admin.log 2>&1 &
在这里插入图片描述

  1. 启动xxl-job-executor-sample-springboot-2.3.0.jar
    cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-executor-samples/xxl-job-executor-sample-springboot/target
    nohup java -jar xxl-job-executor-sample-springboot-2.3.0.jar > xxl-job-excutor.log 2>&1 &
    在这里插入图片描述
  2. 确认服务已启动
    在这里插入图片描述
  3. 访问http://47.100.172.180:8080/xxl-job-admin/ 这里用公网IP
    在这里插入图片描述
  4. 编辑执行器
    在这里插入图片描述
  5. 新增调度任务
    在这里插入图片描述
    运行shell脚本命令
    在这里插入图片描述
    手动调度执行一次
    在这里插入图片描述
    查看调度是否成功
    在这里插入图片描述
    查看整体运行报表
    在这里插入图片描述
    如果你正在寻找一个易于使用的任务调度工具,xxl-job值得一试。立即使用xxl-job开始你的数据自动化之旅吧!
    资源包地址
    如内容有错欢迎大家指正!!!
    读后有疑问请加QQ群!作者个人qq:420773639
    在这里插入图片描述

这篇关于Linux部署调度工具xxl-job的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1030597

相关文章

Linux脚本(shell)的使用方式

《Linux脚本(shell)的使用方式》:本文主要介绍Linux脚本(shell)的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述语法详解数学运算表达式Shell变量变量分类环境变量Shell内部变量自定义变量:定义、赋值自定义变量:引用、修改、删

基于Python实现一个Windows Tree命令工具

《基于Python实现一个WindowsTree命令工具》今天想要在Windows平台的CMD命令终端窗口中使用像Linux下的tree命令,打印一下目录结构层级树,然而还真有tree命令,但是发现... 目录引言实现代码使用说明可用选项示例用法功能特点添加到环境变量方法一:创建批处理文件并添加到PATH1

使用jenv工具管理多个JDK版本的方法步骤

《使用jenv工具管理多个JDK版本的方法步骤》jenv是一个开源的Java环境管理工具,旨在帮助开发者在同一台机器上轻松管理和切换多个Java版本,:本文主要介绍使用jenv工具管理多个JD... 目录一、jenv到底是干啥的?二、jenv的核心功能(一)管理多个Java版本(二)支持插件扩展(三)环境隔

Linux链表操作方式

《Linux链表操作方式》:本文主要介绍Linux链表操作方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、链表基础概念与内核链表优势二、内核链表结构与宏解析三、内核链表的优点四、用户态链表示例五、双向循环链表在内核中的实现优势六、典型应用场景七、调试技巧与

Python使用smtplib库开发一个邮件自动发送工具

《Python使用smtplib库开发一个邮件自动发送工具》在现代软件开发中,自动化邮件发送是一个非常实用的功能,无论是系统通知、营销邮件、还是日常工作报告,Python的smtplib库都能帮助我们... 目录代码实现与知识点解析1. 导入必要的库2. 配置邮件服务器参数3. 创建邮件发送类4. 实现邮件

详解Linux中常见环境变量的特点与设置

《详解Linux中常见环境变量的特点与设置》环境变量是操作系统和用户设置的一些动态键值对,为运行的程序提供配置信息,理解环境变量对于系统管理、软件开发都很重要,下面小编就为大家详细介绍一下吧... 目录前言一、环境变量的概念二、常见的环境变量三、环境变量特点及其相关指令3.1 环境变量的全局性3.2、环境变

Linux系统中的firewall-offline-cmd详解(收藏版)

《Linux系统中的firewall-offline-cmd详解(收藏版)》firewall-offline-cmd是firewalld的一个命令行工具,专门设计用于在没有运行firewalld服务的... 目录主要用途基本语法选项1. 状态管理2. 区域管理3. 服务管理4. 端口管理5. ICMP 阻断

Linux实现线程同步的多种方式汇总

《Linux实现线程同步的多种方式汇总》本文详细介绍了Linux下线程同步的多种方法,包括互斥锁、自旋锁、信号量以及它们的使用示例,通过这些同步机制,可以解决线程安全问题,防止资源竞争导致的错误,示例... 目录什么是线程同步?一、互斥锁(单人洗手间规则)适用场景:特点:二、条件变量(咖啡厅取餐系统)工作流

CnPlugin是PL/SQL Developer工具插件使用教程

《CnPlugin是PL/SQLDeveloper工具插件使用教程》:本文主要介绍CnPlugin是PL/SQLDeveloper工具插件使用教程,具有很好的参考价值,希望对大家有所帮助,如有错... 目录PL/SQL Developer工具插件使用安装拷贝文件配置总结PL/SQL Developer工具插

Linux中修改Apache HTTP Server(httpd)默认端口的完整指南

《Linux中修改ApacheHTTPServer(httpd)默认端口的完整指南》ApacheHTTPServer(简称httpd)是Linux系统中最常用的Web服务器之一,本文将详细介绍如何... 目录一、修改 httpd 默认端口的步骤1. 查找 httpd 配置文件路径2. 编辑配置文件3. 保存