azkaban安装与使用

2024-02-16 12:18
文章标签 安装 使用 azkaban

本文主要是介绍azkaban安装与使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.      下载azkaban3.25的”source code.tar.gz”: https://github.com/azkaban/azkaban/releases

2.      解压缩:azkaban-3.25.0.tar.gz,进入azkaban根目录:cd azkaban-3.25.0

3.      执行命令:./gradlew installDist  生成相关文件

4.      创建一个新的文件夹:mkdir azkaban ,复制以下文件内容到XXX目录下:

cp /azkaban-3.25.0/azkaban-web-server/build/install/azkaban-web-server  azkaban

cp /azkaban-3.25.0/azkaban-exec-server/build/install/azkaban-exec-server azkaban

cp /azkaban-3.25.0/azkaban-db/build/install/azkaban-web-server azkaban

5.      在mysql数据库中创建一个数据库:azkaban 

进入azkaban数据库:use Azkaban 

执行:source /azkaban-3.25.0/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql

6.      创建SSL配置:keytool -keystore keystore -alias jetty -genkey -keyalg RSA

提示中只需填写个6位密码即可,其他信息可填可不填

将生成的keystore文件拷贝至XXX目录下:cpkeystore /XXX/azkaban-web-server

7.      先配置好服务器节点上的时区

先生成时区配置文件Asia/Shanghai,用交互式命令 tzselect 即可

拷贝该时区文件,覆盖系统本地时区配置

cp/usr/share/zoneinfo/Asia/Shanghai /etc/localtime

8.      配置azkaban-web-server的conf下的文件:

配置Azkaban.properties

#AzkabanPersonalization Settings

azkaban.name=Test

azkaban.label=MyLocal Azkaban

azkaban.color=#FF3601

azkaban.default.servlet.path=/index

web.resource.dir=web/

default.timezone.id=Asia/Shanghai

 

#AzkabanUserManager class

user.manager.class=azkaban.user.XmlUserManager

user.manager.xml.file=conf/azkaban-users.xml

 

#Loaderfor projects

executor.global.properties=conf/global.properties

azkaban.project.dir=projects

 

database.type=mysql

mysql.port=3306

mysql.host=localhost

mysql.database=azkaban

mysql.user=root

mysql.password=1234

mysql.numconnections=100

 

#Velocity dev mode

velocity.dev.mode=false

 

# AzkabanJetty server properties.

jetty.maxThreads=25

jetty.ssl.port=8443

jetty.port=8081

jetty.keystore=keystore

jetty.password=123456

jetty.keypassword=123456

jetty.truststore=keystore

jetty.trustpassword=123456

 

# AzkabanExecutor settings

executor.port=12321

 

# mailsettings

mail.sender=

mail.host=

job.failure.email=

job.success.email=

 

lockdown.create.projects=false

 

cache.directory=cache

 

配置azkaban-users.xml

<azkaban-users>

<user username="azkaban"password="azkaban" roles="admin" groups="azkaban"/>

<user username="metrics"password="metrics" roles="metrics"/>

<user username="admin"password="admin" roles="admin,metrics" />

<role name="admin"permissions="ADMIN" />

<role name="metrics"permissions="METRICS"/>

</azkaban-users>

 

配置log4j.properties

log4j.rootLogger=INFO,C

log4j.appender.C=org.apache.log4j.ConsoleAppender

log4j.appender.C.Target=System.err

log4j.appender.C.layout=org.apache.log4j.PatternLayout

log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-ddHH:mm:ss} %-5p %c{1}:%L - %m%n

 

 

 

9.      配置azkaban-exec-server的conf下的文件

配置azkaban.properties

#Azkaban

default.timezone.id=Asia/Shanghai

 

# AzkabanJobTypes Plugins

azkaban.jobtype.plugin.dir=plugins/jobtypes

 

#Loaderfor projects

executor.global.properties=conf/global.properties

azkaban.project.dir=projects

 

azkaban.native.lib=

 

database.type=mysql

mysql.port=3306

mysql.host=localhost

mysql.database=azkaban

mysql.user=root

mysql.password=1234

mysql.numconnections=100

 

# AzkabanExecutor settings

executor.maxThreads=50

executor.port=12321

executor.flow.threads=30

 

# JMXstats

jetty.connector.stats=true

executor.connector.stats=true

 

log4j.properties

log4j.rootLogger=INFO,C

log4j.appender.C=org.apache.log4j.ConsoleAppender

log4j.appender.C.Target=System.err

log4j.appender.C.layout=org.apache.log4j.PatternLayout

log4j.appender.C.layout.ConversionPattern=%d{yyyy-MM-ddHH:mm:ss} %-5p %c{1}:%L - %m%n

 

配置/plugins/jobtypes/commonprivate.proterties

# setexecute-as-user

execute.as.user=false


#关闭内存检查,若可用内存空间小于3GB会报错

memCheck.enabled=false

 

10.  测试

新建一个任务:command.job

vi command.job

#command.job

type=command

command=echo 'hello azkaban'

 

将command.job打包成zip文件:zipcommand.job

在浏览器中输入url:https://localhost:8443,输入配置好的用户和密码,进入azkaban web client


点击[Create Project],输入项目名和描述

上传command.job.zip


执行流


 

 注:过程中可能遇到的错误:

①若azkaban-web-server和azkaban-exec-server的目录conf无log4j.properties文件则会报以下错误:

Exception: java.lang.StackOverflowError thrown from the UncaughtExceptionHandler in thread "main"

②若/azkaban-exec-server/plugins/jobtypes/下commonprivate.proterties文件未配置,则会报以下错误:

未配置:execute.as.user=false 

azkaban.utils.UndefinedPropertyException:Missing required property 'azkaban.native.lib'

atazkaban.utils.Props.getString(Props.java:478)

atazkaban.jobExecutor.ProcessJob.run(ProcessJob.java:155)

at azkaban.execapp.JobRunner.runJob(JobRunner.java:694)

atazkaban.execapp.JobRunner.run(JobRunner.java:544)

atjava.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)

atjava.util.concurrent.FutureTask.run(FutureTask.java:266)

at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)

atjava.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)

at java.lang.Thread.run(Thread.java:745)

22-06-2017 09:53:16 CST a ERROR - Missing required property'azkaban.native.lib' cause: null

 未配置:memCheck.enabled=false

java.lang.Exception: Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job a  

    at azkaban.jobExecutor.ProcessJob.run(ProcessJob.java:86)  

    at azkaban.execapp.JobRunner.runJob(JobRunner.java:590)  

    at azkaban.execapp.JobRunner.run(JobRunner.java:443)  

    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)  

    at java.util.concurrent.FutureTask.run(FutureTask.java:266)  

    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)      

    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)      

    at java.lang.Thread.run(Thread.java:745) 

 

 

 

这篇关于azkaban安装与使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/714501

相关文章

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

使用Python实现可恢复式多线程下载器

《使用Python实现可恢复式多线程下载器》在数字时代,大文件下载已成为日常操作,本文将手把手教你用Python打造专业级下载器,实现断点续传,多线程加速,速度限制等功能,感兴趣的小伙伴可以了解下... 目录一、智能续传:从崩溃边缘抢救进度二、多线程加速:榨干网络带宽三、速度控制:做网络的好邻居四、终端交互

Python中注释使用方法举例详解

《Python中注释使用方法举例详解》在Python编程语言中注释是必不可少的一部分,它有助于提高代码的可读性和维护性,:本文主要介绍Python中注释使用方法的相关资料,需要的朋友可以参考下... 目录一、前言二、什么是注释?示例:三、单行注释语法:以 China编程# 开头,后面的内容为注释内容示例:示例:四

Python中win32包的安装及常见用途介绍

《Python中win32包的安装及常见用途介绍》在Windows环境下,PythonWin32模块通常随Python安装包一起安装,:本文主要介绍Python中win32包的安装及常见用途的相关... 目录前言主要组件安装方法常见用途1. 操作Windows注册表2. 操作Windows服务3. 窗口操作

Go语言数据库编程GORM 的基本使用详解

《Go语言数据库编程GORM的基本使用详解》GORM是Go语言流行的ORM框架,封装database/sql,支持自动迁移、关联、事务等,提供CRUD、条件查询、钩子函数、日志等功能,简化数据库操作... 目录一、安装与初始化1. 安装 GORM 及数据库驱动2. 建立数据库连接二、定义模型结构体三、自动迁

ModelMapper基本使用和常见场景示例详解

《ModelMapper基本使用和常见场景示例详解》ModelMapper是Java对象映射库,支持自动映射、自定义规则、集合转换及高级配置(如匹配策略、转换器),可集成SpringBoot,减少样板... 目录1. 添加依赖2. 基本用法示例:简单对象映射3. 自定义映射规则4. 集合映射5. 高级配置匹

Spring 框架之Springfox使用详解

《Spring框架之Springfox使用详解》Springfox是Spring框架的API文档工具,集成Swagger规范,自动生成文档并支持多语言/版本,模块化设计便于扩展,但存在版本兼容性、性... 目录核心功能工作原理模块化设计使用示例注意事项优缺点优点缺点总结适用场景建议总结Springfox 是

嵌入式数据库SQLite 3配置使用讲解

《嵌入式数据库SQLite3配置使用讲解》本文强调嵌入式项目中SQLite3数据库的重要性,因其零配置、轻量级、跨平台及事务处理特性,可保障数据溯源与责任明确,详细讲解安装配置、基础语法及SQLit... 目录0、惨痛教训1、SQLite3环境配置(1)、下载安装SQLite库(2)、解压下载的文件(3)、

使用Python绘制3D堆叠条形图全解析

《使用Python绘制3D堆叠条形图全解析》在数据可视化的工具箱里,3D图表总能带来眼前一亮的效果,本文就来和大家聊聊如何使用Python实现绘制3D堆叠条形图,感兴趣的小伙伴可以了解下... 目录为什么选择 3D 堆叠条形图代码实现:从数据到 3D 世界的搭建核心代码逐行解析细节优化应用场景:3D 堆叠图

Springboot如何正确使用AOP问题

《Springboot如何正确使用AOP问题》:本文主要介绍Springboot如何正确使用AOP问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录​一、AOP概念二、切点表达式​execution表达式案例三、AOP通知四、springboot中使用AOP导出