Linux部署调度工具xxl-job

2024-06-04 17:04
文章标签 工具 linux 部署 调度 xxl job

本文主要是介绍Linux部署调度工具xxl-job,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

背景:
Pentaho Data Integration(kettle)作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix,linux平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候,通常采用以下几种方式:使用spoon程序来启动Job,使用crontab或计划任务,自主开发java程序来调用kettle的类库

xxl-job介绍
​ xxl-job是一个分布式的任务调度平台,其核心设计目标是:学习简单、开发迅速、轻量级、易扩展,现在已经开放源代码并接入多家公司的线上产品线,开箱即用。xxl是xxl-job的开发者大众点评的许雪里名称的拼音开头

Linux部署xxl-job

  1. 准备 xxl-job 离线tar包
  • xxl-job-2.3.0.tar.gz
  • apache-maven-3.8.5-bin.tar.gz
  • jdk-8u211-linux-x64.tar.gz
  1. 上传资源到linux服务器
  • cd /usr/local
  • mkdir xxl-job
  • cd xxl-job
  • rz

[root@Online local]# cd /usr/local/
[root@Online local]# mkdir xxl-job
[root@Online local]# cd xxl-job/
[root@Online xxl-job]# rz
在这里插入图片描述
3. 部署maven环境

  • 解压apache-maven-3.8.5-bin.tar.gz
    tar -xvzf apache-maven-3.8.5-bin.tar.gz

在这里插入图片描述

  • 重命名apache-maven-3.8.5为maven
    mv apache-maven-3.8.5 maven
    在这里插入图片描述
  1. 部署jdk
  • 解压jdk-8u211-linux-x64.tar.gz
    tar -xvzf jdk-8u211-linux-x64.tar.gz -C /usr/local/xxl-job
    在这里插入图片描述
  • 重命名jdk1.8.0_211为java
    在这里插入图片描述
  • 移动maven到java目录下
    mv maven java/在这里插入图片描述
  1. 配置环境变量
  • 配置jdk,maven
    vim /etc/profile

JAVA_HOME=/usr/local/xxl-job/java
MAVEN_HOME=/usr/local/xxl-job/java/maven
PATH= P A T H : PATH: PATH:JAVA_HOME/bin:$MAVEN_HOME/bin
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL JAVA_HOME MAVEN_HOME
在这里插入图片描述

  • 刷新配置
    source /etc/profile
    在这里插入图片描述
  • 验证是否部署成功
    java -version
    在这里插入图片描述
    mvn -v
    在这里插入图片描述
  1. 创建xxl-job数据库
    在这里插入图片描述
    在这里插入图片描述
  2. 解压xxl-job-2.3.0.tar.gz

tar -xzf xxl-job-2.3.0.tar.gz
在这里插入图片描述
8. 更改配置文件

  • 修改数据库信息,其他的端口用户密码等这里用默认的
    cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-admin/src/main/resources
    vim application.properties
    在这里插入图片描述
  • 更改日志路径
    vim logback.xml
    /data/applogs/xxl-job/xxl-job-admin.log -->/usr/local/xxl-job/xxl-job-admin.log
    在这里插入图片描述
  • 更改执行器文件
    cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/resources
    vim application.properties
    在这里插入图片描述
  • 更改logback.xml文件
    /data/applogs/xxl-job/xxl-job-executor-sample-springboot.log -->/usr/local/xxl-job/xxl-job-executor-sample-springboot.log
    在这里插入图片描述
  1. mvn编译
    cd /usr/local/xxl-job/xxl-job-2.3.0
    在这里插入图片描述

mvn package
在这里插入图片描述
10. 启动xxl-job-admin-2.3.0.jar
cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-admin/target
nohup java -jar xxl-job-admin-2.3.0.jar > xxl-job-admin.log 2>&1 &
在这里插入图片描述

  1. 启动xxl-job-executor-sample-springboot-2.3.0.jar
    cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-executor-samples/xxl-job-executor-sample-springboot/target
    nohup java -jar xxl-job-executor-sample-springboot-2.3.0.jar > xxl-job-excutor.log 2>&1 &
    在这里插入图片描述
  2. 确认服务已启动
    在这里插入图片描述
  3. 访问http://47.100.172.180:8080/xxl-job-admin/ 这里用公网IP
    在这里插入图片描述
  4. 编辑执行器
    在这里插入图片描述
  5. 新增调度任务
    在这里插入图片描述
    运行shell脚本命令
    在这里插入图片描述
    手动调度执行一次
    在这里插入图片描述
    查看调度是否成功
    在这里插入图片描述
    查看整体运行报表
    在这里插入图片描述
    如果你正在寻找一个易于使用的任务调度工具,xxl-job值得一试。立即使用xxl-job开始你的数据自动化之旅吧!
    资源包地址
    如内容有错欢迎大家指正!!!
    读后有疑问请加QQ群!作者个人qq:420773639
    在这里插入图片描述

这篇关于Linux部署调度工具xxl-job的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1030597

相关文章

防止Linux rm命令误操作的多场景防护方案与实践

《防止Linuxrm命令误操作的多场景防护方案与实践》在Linux系统中,rm命令是删除文件和目录的高效工具,但一旦误操作,如执行rm-rf/或rm-rf/*,极易导致系统数据灾难,本文针对不同场景... 目录引言理解 rm 命令及误操作风险rm 命令基础常见误操作案例防护方案使用 rm编程 别名及安全删除

Linux下MySQL数据库定时备份脚本与Crontab配置教学

《Linux下MySQL数据库定时备份脚本与Crontab配置教学》在生产环境中,数据库是核心资产之一,定期备份数据库可以有效防止意外数据丢失,本文将分享一份MySQL定时备份脚本,并讲解如何通过cr... 目录备份脚本详解脚本功能说明授权与可执行权限使用 Crontab 定时执行编辑 Crontab添加定

使用docker搭建嵌入式Linux开发环境

《使用docker搭建嵌入式Linux开发环境》本文主要介绍了使用docker搭建嵌入式Linux开发环境,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面... 目录1、前言2、安装docker3、编写容器管理脚本4、创建容器1、前言在日常开发全志、rk等不同

redis-sentinel基础概念及部署流程

《redis-sentinel基础概念及部署流程》RedisSentinel是Redis的高可用解决方案,通过监控主从节点、自动故障转移、通知机制及配置提供,实现集群故障恢复与服务持续可用,核心组件包... 目录一. 引言二. 核心功能三. 核心组件四. 故障转移流程五. 服务部署六. sentinel部署

SpringBoot集成XXL-JOB实现任务管理全流程

《SpringBoot集成XXL-JOB实现任务管理全流程》XXL-JOB是一款轻量级分布式任务调度平台,功能丰富、界面简洁、易于扩展,本文介绍如何通过SpringBoot项目,使用RestTempl... 目录一、前言二、项目结构简述三、Maven 依赖四、Controller 代码详解五、Service

Python实战之SEO优化自动化工具开发指南

《Python实战之SEO优化自动化工具开发指南》在数字化营销时代,搜索引擎优化(SEO)已成为网站获取流量的重要手段,本文将带您使用Python开发一套完整的SEO自动化工具,需要的可以了解下... 目录前言项目概述技术栈选择核心模块实现1. 关键词研究模块2. 网站技术seo检测模块3. 内容优化分析模

linux系统上安装JDK8全过程

《linux系统上安装JDK8全过程》文章介绍安装JDK的必要性及Linux下JDK8的安装步骤,包括卸载旧版本、下载解压、配置环境变量等,强调开发需JDK,运行可选JRE,现JDK已集成JRE... 目录为什么要安装jdk?1.查看linux系统是否有自带的jdk:2.下载jdk压缩包2.解压3.配置环境

Linux搭建ftp服务器的步骤

《Linux搭建ftp服务器的步骤》本文给大家分享Linux搭建ftp服务器的步骤,本文通过图文并茂的形式给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录ftp搭建1:下载vsftpd工具2:下载客户端工具3:进入配置文件目录vsftpd.conf配置文件4:

解决Nginx启动报错Job for nginx.service failed because the control process exited with error code问题

《解决Nginx启动报错Jobfornginx.servicefailedbecausethecontrolprocessexitedwitherrorcode问题》Nginx启... 目录一、报错如下二、解决原因三、解决方式总结一、报错如下Job for nginx.service failed bec

Linux实现查看某一端口是否开放

《Linux实现查看某一端口是否开放》文章介绍了三种检查端口6379是否开放的方法:通过lsof查看进程占用,用netstat区分TCP/UDP监听状态,以及用telnet测试远程连接可达性... 目录1、使用lsof 命令来查看端口是否开放2、使用netstat 命令来查看端口是否开放3、使用telnet