linux部署安装DataX和DataX-Web

本文主要是介绍linux部署安装DataX和DataX-Web，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1.基础环境

JDK（1.8 及其以上都可以，推荐 1.8），安装过程略

Python（2 或者 3 都可以），安装过程略

Apache Maven 3.6.1+（只有DataX源码编译安装时需要）

1.1下载maven安装包

访问https://maven.apache.org/download.cgi下载官方安装包

1.2安装maven

#创建maven目录
mkdir -p /usr/local/maven
cd /usr/local/maven/#上传安装包至/usr/local/maven/# 解压
tar -zxvf apache-maven-3.9.6-bin.tar.gz

1.3配置maven环境变量

vim /etc/profile
#在文件末尾增加
MAVEN_HOME=/usr/local/maven/apache-maven-3.9.6/
PATH=$MAVEN_HOME/bin:$PATH
#保存退出后，重载配置
source /etc/profile#验证，查看maven版本
mvn -version

1.4配置 Maven 本地仓库

#新建本地库文件夹
mkdir -p /usr/local/maven/repository#编辑配置文件/usr/local/maven/apache-maven-3.9.6/conf/settings.xml
vim /usr/local/maven/apache-maven-3.9.6/conf/settings.xml
#在注释的localRepository节点后，增加
<localRepository>/usr/local/maven/repository</localRepository>

1.5配置仓库镜像

在 settings.xml 配置文件中找到 mirrors 节点，添加以下内容：

<!-- 阿里云仓库 -->
<mirror><id>alimaven</id><mirrorOf>central</mirrorOf><name>aliyun maven</name><url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
</mirror>

1.6验证

mvn help:system

执行mvn help:system后会从mven仓库下载一些必须的插件，大概一分多钟，下载完成后会显示系统变量和环境变量。

2.安装DataX

访问https://github.com/alibaba/DataX下载工具包

#将下载好的安装包上传至/usr/local/#解压
tar -zxvf datax.tar.gz -C /usr/local/#自检脚本
python /usr/local/datax/bin/datax.py /usr/local/datax/job/job.json

3.安装DataX-Web

3.1环境要求

• MySQL (5.5+) 必选，对应客户端可以选装, Linux服务上若安装mysql的客户端可以通过部署脚本快速初始化数据库

• JDK (1.8.0_xxx) 必选

• Maven (3.6.1+) 必选

• DataX 必选

• Python (2.x) (支持Python3需要修改替换datax/bin下面的三个python文件，替换文件在doc/datax-web/datax-python3下，网址https://github.com/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3) 必选，主要用于调度执行底层DataX的启动脚本，默认的方式是以Java子进程方式执行DataX，用户可以选择以Python方式来做自定义的改造

3.2下载安装包

访问https://github.com/WeiYe-Jing/datax-web/blob/master/doc/datax-web/datax-web-deploy.md，下载官方安装包

上传至/usr/local/

3.3安装

#解压
tar -zxvf datax-web-2.1.2.tar.gz -C /usr/local/
#执行安装脚本
/usr/local/datax-web-2.1.2/bin/install.sh --force

3.4数据库配置

在mysql中创建datax_web数据库，执行数据库脚本/bin/db/datax-web.sql

修改DataX-web的配置文件/usr/local/datax-web-2.1.2/modules/datax-admin/conf/bootstrap.properties

3.5配置python 脚本路径

编辑/usr/local/datax-web-2.1.2/modules/datax-executor/bin/env.properties

PYTHON_PATH=/usr/local/datax/bin/datax.py

3.6启动服务

/usr/local/datax-web-2.1.2/bin/start-all.sh#查看服务，出现DataXAdminApplication和DataXExecutorApplication进程，表示项目运行成功
jps

3.7访问UI界面

访问地址http://服务器IP:9527/index.html#/login?redirect=%2Fdashboard，其中9527为默认端口，默认账户信息：用户名 admin 密码 123456

4.常见问题

[DataX引擎配置错误，该问题通常是由于DataX安装错误引起，请联系您的运维解决 .].  - 在有总bps限速条件下，单个channel的bps值不能为空，也不能为非正数

编辑/usr/local/datax/conf/core.json，调整core.transport​​​​​​​.channel​​​​​​​.speed​​​​​​​.byte为2000000（即2MB）保存即可，无需重启。

参考文章：

DataX官方指引

DataX-Web官方指引

https://blog.csdn.net/weixin_46560589/article/details/134592916

这篇关于linux部署安装DataX和DataX-Web的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---