Oozie调度工具--一次性脚本文件的创建和执行

2023-12-06 23:04

本文主要是介绍Oozie调度工具--一次性脚本文件的创建和执行,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1,首先环境介绍,使用的是CDH的clouder manage 管理平台,已经安装Oozie组件
2,开启Oozie调度工具
请添加图片描述
3,可以直接在管理界面点击Hue,也可以在群集里面点击Hue,打开Hue编辑平台
请添加图片描述
4,打开Hue编辑器后,在里面找到怎么创建脚本,其中Workflow是创建一次性调度脚本的,计划是创建可以多次定时执行脚本的工具,首先介绍创建一次性调度脚本
请添加图片描述
5,在HDFS管理界面的根目录下创建一个job文件用来存放脚本和数据文件(打开方式和Hue相同,此处省略)
请添加图片描述
6,在Hue编辑器中打开查询模式,创建数据库和表

请添加图片描述

create database job;create table  job.test(
product string,  
productname string,
imei string,
eventid string,
error string,
date1 string
)partitioned by (dt string) row format delimited fields terminated by ",";

自己准备几条数据,然后换成.sql格式一会使用脚本导入

7,创建好目录后根据建表语句需要的字段,自己编写一些数据文件,我的为test.sql,并将文件后缀名改为.sql
请添加图片描述
8,导入数据完成后,需要核对数据是否导入成功
请添加图片描述
9,在Hive中创建一个新文件,可以直接编辑,然后导入测试脚本
请添加图片描述
10,编辑脚本文件

load data inpath '/job/test.sql' 
into table job.test
partition  (dt='${today}');

请添加图片描述

11,点击查询,计划程序下面的Workflow后显示这个界面
请添加图片描述
12,先选择Hive2作为计算引擎后,再选择编辑好的脚本文件我的为mywork_flow_1
请添加图片描述
13,打开后切换目录,到自己脚本文件放置的目录
请添加图片描述
14,选择脚本文件后,他会自动扫描文件,找到参数,然后还需要添加一个文件用于导入数据文件
其中参数为today=${today}
请添加图片描述
15,编辑完之后直接保存,然后当前页面测试执行
请添加图片描述
请添加图片描述
16,选择之后后会提示提交一个日期,选择现在即可
请添加图片描述
17,刚开始执行时显示界面,过一会进度到100%就完成了
请添加图片描述
请添加图片描述
18,查看数据是否导入成功,也可以去看表中时候多了一个文件放数据

请添加图片描述
19,查看刚刚的文件位置,会发现文件已经消失
请添加图片描述

这篇关于Oozie调度工具--一次性脚本文件的创建和执行的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/463673

相关文章

SQLite3命令行工具最佳实践指南

《SQLite3命令行工具最佳实践指南》SQLite3是轻量级嵌入式数据库,无需服务器支持,具备ACID事务与跨平台特性,适用于小型项目和学习,sqlite3.exe作为命令行工具,支持SQL执行、数... 目录1. SQLite3简介和特点2. sqlite3.exe使用概述2.1 sqlite3.exe

Linux脚本(shell)的使用方式

《Linux脚本(shell)的使用方式》:本文主要介绍Linux脚本(shell)的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述语法详解数学运算表达式Shell变量变量分类环境变量Shell内部变量自定义变量:定义、赋值自定义变量:引用、修改、删

基于Python实现一个Windows Tree命令工具

《基于Python实现一个WindowsTree命令工具》今天想要在Windows平台的CMD命令终端窗口中使用像Linux下的tree命令,打印一下目录结构层级树,然而还真有tree命令,但是发现... 目录引言实现代码使用说明可用选项示例用法功能特点添加到环境变量方法一:创建批处理文件并添加到PATH1

Python中使用uv创建环境及原理举例详解

《Python中使用uv创建环境及原理举例详解》uv是Astral团队开发的高性能Python工具,整合包管理、虚拟环境、Python版本控制等功能,:本文主要介绍Python中使用uv创建环境及... 目录一、uv工具简介核心特点:二、安装uv1. 通过pip安装2. 通过脚本安装验证安装:配置镜像源(可

使用jenv工具管理多个JDK版本的方法步骤

《使用jenv工具管理多个JDK版本的方法步骤》jenv是一个开源的Java环境管理工具,旨在帮助开发者在同一台机器上轻松管理和切换多个Java版本,:本文主要介绍使用jenv工具管理多个JD... 目录一、jenv到底是干啥的?二、jenv的核心功能(一)管理多个Java版本(二)支持插件扩展(三)环境隔

Java中实现线程的创建和启动的方法

《Java中实现线程的创建和启动的方法》在Java中,实现线程的创建和启动是两个不同但紧密相关的概念,理解为什么要启动线程(调用start()方法)而非直接调用run()方法,是掌握多线程编程的关键,... 目录1. 线程的生命周期2. start() vs run() 的本质区别3. 为什么必须通过 st

Python使用smtplib库开发一个邮件自动发送工具

《Python使用smtplib库开发一个邮件自动发送工具》在现代软件开发中,自动化邮件发送是一个非常实用的功能,无论是系统通知、营销邮件、还是日常工作报告,Python的smtplib库都能帮助我们... 目录代码实现与知识点解析1. 导入必要的库2. 配置邮件服务器参数3. 创建邮件发送类4. 实现邮件

CnPlugin是PL/SQL Developer工具插件使用教程

《CnPlugin是PL/SQLDeveloper工具插件使用教程》:本文主要介绍CnPlugin是PL/SQLDeveloper工具插件使用教程,具有很好的参考价值,希望对大家有所帮助,如有错... 目录PL/SQL Developer工具插件使用安装拷贝文件配置总结PL/SQL Developer工具插

Macos创建python虚拟环境的详细步骤教学

《Macos创建python虚拟环境的详细步骤教学》在macOS上创建Python虚拟环境主要通过Python内置的venv模块实现,也可使用第三方工具如virtualenv,下面小编来和大家简单聊聊... 目录一、使用 python 内置 venv 模块(推荐)二、使用 virtualenv(兼容旧版 P

Python使用FFmpeg实现高效音频格式转换工具

《Python使用FFmpeg实现高效音频格式转换工具》在数字音频处理领域,音频格式转换是一项基础但至关重要的功能,本文主要为大家介绍了Python如何使用FFmpeg实现强大功能的图形化音频转换工具... 目录概述功能详解软件效果展示主界面布局转换过程截图完成提示开发步骤详解1. 环境准备2. 项目功能结