azkaban安装与使用

2024-02-16 12:18
文章标签 安装 使用 azkaban

本文主要是介绍azkaban安装与使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.      下载azkaban3.25的”source code.tar.gz”: https://github.com/azkaban/azkaban/releases

2.      解压缩:azkaban-3.25.0.tar.gz,进入azkaban根目录:cd azkaban-3.25.0

3.      执行命令:./gradlew installDist  生成相关文件

4.      创建一个新的文件夹:mkdir azkaban ,复制以下文件内容到XXX目录下:

cp /azkaban-3.25.0/azkaban-web-server/build/install/azkaban-web-server  azkaban

cp /azkaban-3.25.0/azkaban-exec-server/build/install/azkaban-exec-server azkaban

cp /azkaban-3.25.0/azkaban-db/build/install/azkaban-web-server azkaban

5.      在mysql数据库中创建一个数据库:azkaban 

进入azkaban数据库:use Azkaban 

执行:source /azkaban-3.25.0/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql

6.      创建SSL配置:keytool -keystore keystore -alias jetty -genkey -keyalg RSA

提示中只需填写个6位密码即可,其他信息可填可不填

将生成的keystore文件拷贝至XXX目录下:cpkeystore /XXX/azkaban-web-server

7.      先配置好服务器节点上的时区

先生成时区配置文件Asia/Shanghai,用交互式命令 tzselect 即可

拷贝该时区文件,覆盖系统本地时区配置

cp/usr/share/zoneinfo/Asia/Shanghai /etc/localtime

8.      配置azkaban-web-server的conf下的文件:

配置Azkaban.properties

#AzkabanPersonalization Settings

azkaban.name=Test

azkaban.label=MyLocal Azkaban

azkaban.color=#FF3601

azkaban.default.servlet.path=/index

web.resource.dir=web/

default.timezone.id=Asia/Shanghai

 

#AzkabanUserManager class

user.manager.class=azkaban.user.XmlUserManager

user.manager.xml.file=conf/azkaban-users.xml

 

#Loaderfor projects

executor.global.properties=conf/global.properties

azkaban.project.dir=projects

 

database.type=mysql

mysql.port=3306

mysql.host=localhost

mysql.database=azkaban

mysql.user=root

mysql.password=1234

mysql.numconnections=100

 

#Velocity dev mode

velocity.dev.mode=false

 

# AzkabanJetty server properties.

jetty.maxThreads=25

jetty.ssl.port=8443

jetty.port=8081

jetty.keystore=keystore

jetty.password=123456

jetty.keypassword=123456

jetty.truststore=keystore

jetty.trustpassword=123456

 

# AzkabanExecutor settings

executor.port=12321

 

# mailsettings

mail.sender=

mail.host=

job.failure.email=

job.success.email=

 

lockdown.create.projects=false

 

cache.directory=cache

 

配置azkaban-users.xml

<azkaban-users>

<user username="azkaban"password="azkaban" roles="admin" groups="azkaban"/>

<user username="metrics"password="metrics" roles="metrics"/>

<user username="admin"password="admin" roles="admin,metrics" />

<role name="admin"permissions="ADMIN" />

<role name="metrics"permissions="METRICS"/>

</azkaban-users>

 

配置log4j.properties

log4j.rootLogger=INFO,C

log4j.appender.C=org.apache.log4j.ConsoleAppender

log4j.appender.C.Target=System.err

log4j.appender.C.layout=org.apache.log4j.PatternLayout

log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-ddHH:mm:ss} %-5p %c{1}:%L - %m%n

 

 

 

9.      配置azkaban-exec-server的conf下的文件

配置azkaban.properties

#Azkaban

default.timezone.id=Asia/Shanghai

 

# AzkabanJobTypes Plugins

azkaban.jobtype.plugin.dir=plugins/jobtypes

 

#Loaderfor projects

executor.global.properties=conf/global.properties

azkaban.project.dir=projects

 

azkaban.native.lib=

 

database.type=mysql

mysql.port=3306

mysql.host=localhost

mysql.database=azkaban

mysql.user=root

mysql.password=1234

mysql.numconnections=100

 

# AzkabanExecutor settings

executor.maxThreads=50

executor.port=12321

executor.flow.threads=30

 

# JMXstats

jetty.connector.stats=true

executor.connector.stats=true

 

log4j.properties

log4j.rootLogger=INFO,C

log4j.appender.C=org.apache.log4j.ConsoleAppender

log4j.appender.C.Target=System.err

log4j.appender.C.layout=org.apache.log4j.PatternLayout

log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-ddHH:mm:ss} %-5p %c{1}:%L - %m%n

 

配置/plugins/jobtypes/commonprivate.proterties

# setexecute-as-user

execute.as.user=false


#关闭内存检查,若可用内存空间小于3GB会报错

memCheck.enabled=false

 

10.  测试

新建一个任务:command.job

vi command.job

#command.job

type=command

command=echo 'hello azkaban'

 

将command.job打包成zip文件:zipcommand.job

在浏览器中输入url:https://localhost:8443,输入配置好的用户和密码,进入azkaban web client


点击[Create Project],输入项目名和描述

上传command.job.zip


执行流


 

 注:过程中可能遇到的错误:

①若azkaban-web-server和azkaban-exec-server的目录conf无log4j.properties文件则会报以下错误:

Exception: java.lang.StackOverflowError thrown from the UncaughtExceptionHandler in thread "main"

②若/azkaban-exec-server/plugins/jobtypes/下commonprivate.proterties文件未配置,则会报以下错误:

未配置:execute.as.user=false 

azkaban.utils.UndefinedPropertyException:Missing required property 'azkaban.native.lib'

atazkaban.utils.Props.getString(Props.java:478)

atazkaban.jobExecutor.ProcessJob.run(ProcessJob.java:155)

at azkaban.execapp.JobRunner.runJob(JobRunner.java:694)

atazkaban.execapp.JobRunner.run(JobRunner.java:544)

atjava.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)

atjava.util.concurrent.FutureTask.run(FutureTask.java:266)

at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)

atjava.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)

at java.lang.Thread.run(Thread.java:745)

22-06-2017 09:53:16 CST a ERROR - Missing required property'azkaban.native.lib' cause: null

 未配置:memCheck.enabled=false

java.lang.Exception: Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job a  

    at azkaban.jobExecutor.ProcessJob.run(ProcessJob.java:86)  

    at azkaban.execapp.JobRunner.runJob(JobRunner.java:590)  

    at azkaban.execapp.JobRunner.run(JobRunner.java:443)  

    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)  

    at java.util.concurrent.FutureTask.run(FutureTask.java:266)  

    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)      

    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)      

    at java.lang.Thread.run(Thread.java:745) 

 

 

 

这篇关于azkaban安装与使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/714501

相关文章

python中的flask_sqlalchemy的使用及示例详解

《python中的flask_sqlalchemy的使用及示例详解》文章主要介绍了在使用SQLAlchemy创建模型实例时,通过元类动态创建实例的方式,并说明了如何在实例化时执行__init__方法,... 目录@orm.reconstructorSQLAlchemy的回滚关联其他模型数据库基本操作将数据添

Spring配置扩展之JavaConfig的使用小结

《Spring配置扩展之JavaConfig的使用小结》JavaConfig是Spring框架中基于纯Java代码的配置方式,用于替代传统的XML配置,通过注解(如@Bean)定义Spring容器的组... 目录JavaConfig 的概念什么是JavaConfig?为什么使用 JavaConfig?Jav

Java使用Spire.Doc for Java实现Word自动化插入图片

《Java使用Spire.DocforJava实现Word自动化插入图片》在日常工作中,Word文档是不可或缺的工具,而图片作为信息传达的重要载体,其在文档中的插入与布局显得尤为关键,下面我们就来... 目录1. Spire.Doc for Java库介绍与安装2. 使用特定的环绕方式插入图片3. 在指定位

Springboot3 ResponseEntity 完全使用案例

《Springboot3ResponseEntity完全使用案例》ResponseEntity是SpringBoot中控制HTTP响应的核心工具——它能让你精准定义响应状态码、响应头、响应体,相比... 目录Spring Boot 3 ResponseEntity 完全使用教程前置准备1. 项目基础依赖(M

Java使用Spire.Barcode for Java实现条形码生成与识别

《Java使用Spire.BarcodeforJava实现条形码生成与识别》在现代商业和技术领域,条形码无处不在,本教程将引导您深入了解如何在您的Java项目中利用Spire.Barcodefor... 目录1. Spire.Barcode for Java 简介与环境配置2. 使用 Spire.Barco

Android使用java实现网络连通性检查详解

《Android使用java实现网络连通性检查详解》这篇文章主要为大家详细介绍了Android使用java实现网络连通性检查的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录NetCheck.Java(可直接拷贝)使用示例(Activity/Fragment 内)权限要求

C# 预处理指令(# 指令)的具体使用

《C#预处理指令(#指令)的具体使用》本文主要介绍了C#预处理指令(#指令)的具体使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学... 目录1、预处理指令的本质2、条件编译指令2.1 #define 和 #undef2.2 #if, #el

C#中Trace.Assert的使用小结

《C#中Trace.Assert的使用小结》Trace.Assert是.NET中的运行时断言检查工具,用于验证代码中的关键条件,下面就来详细的介绍一下Trace.Assert的使用,具有一定的参考价值... 目录1、 什么是 Trace.Assert?1.1 最简单的比喻1.2 基本语法2、⚡ 工作原理3

C# IPAddress 和 IPEndPoint 类的使用小结

《C#IPAddress和IPEndPoint类的使用小结》本文主要介绍了C#IPAddress和IPEndPoint类的使用小结,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定... 目录一、核心作用网络编程基础类二、IPAddress 类详解三种初始化方式1. byte 数组初始化2. l

C语言逗号运算符和逗号表达式的使用小结

《C语言逗号运算符和逗号表达式的使用小结》本文详细介绍了C语言中的逗号运算符和逗号表达式,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习... 在C语言中逗号“,”也是一种运算符,称为逗号运算符。 其功能是把两个表达式连接其一般形式为:表达