hue(5):Hue与zookeeper、oozie、Hbase集成

2024-05-24 11:18
文章标签 集成 zookeeper hbase hue oozie

本文主要是介绍hue(5):Hue与zookeeper、oozie、Hbase集成,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、配置步骤

1.和zookeeper集成,修改hue.ini

[zookeeper]  [[clusters]]  [[[default]]]  # Zookeeper ensemble. Comma separated list of Host/Port.  # e.g. localhost:2181,localhost:2182,localhost:2183  host_ports=hadoop:2181

2.和oozie集成

(1)修改oozie-site.xml(可以不做)

<property><name>oozie.processing.timezone</name><value>UTC</value>
</property>

(2)修改hue.ini

[liboozie]# The URL where the Oozie service runs on. This is required in order for# users to submit jobs. Empty value disables the config check.oozie_url=http://hadoop:11000/oozie# Requires FQDN in oozie_url if enabled## security_enabled=false# Location on HDFS where the workflows/coordinator are deployed when submitted.remote_deployement_dir=/user/hadoop/oozie-apps/[oozie]# Location on local FS where the examples are stored.local_data_dir=/opt/modules/oozie-4.1.0-cdh5.7.0/examples/# Location on local FS where the data for the examples is stored.sample_data_dir=/opt/modules/oozie-4.1.0-cdh5.7.0/oozie-apps# Location on HDFS where the oozie examples and workflows are stored.remote_data_dir=/user/hadoop/oozie-apps/# Maximum of Oozie workflows or coodinators to retrieve in one API call.## oozie_jobs_count=100# Use Cron format for defining the frequency of a Coordinator instead of the old frequency number/unit.enable_cron_scheduling=true

(3)启动oozie

bin/oozied.sh start

3.集成hbase

(1)启动hbase的thrift应用

在hbase目录下/opt/modules/hbase-1.2.0-cdh5.7.0运行

bin/hbase thrift start

(2)修改hue配置文件desktop/conf/hue.ini

[hbase]  # Comma-separated list of HBase Thrift servers for clusters in the format of '(name|host:port)'.  # Use full hostname with security.  hbase_clusters=(Cluster|hadoop:9090)  # HBase configuration directory, where hbase-site.xml is located.  hbase_conf_dir=/opt/modules/hbase-1.2.0-cdh5.7.0/conf# Hard limit of rows or columns per row fetched before truncating.  ## truncate_limit = 500  # 'buffered' is the default of the HBase Thrift Server and supports security.  # 'framed' can be used to chunk up responses,  # which is useful when used in conjunction with the nonblocking server in Thrift.  ## thrift_transport=buffered  

(3)启动zookeeper/hmaster/hregionserver

二、测试

1.开启hdfs/yarn

2.开启zookeeper/hmaster/hregionserver

3.开启oozie

bin/oozied.sh start

4.开启hue

build/env/bin/supervisor

 

这篇关于hue(5):Hue与zookeeper、oozie、Hbase集成的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/998254

相关文章

OpenCV在Java中的完整集成指南分享

《OpenCV在Java中的完整集成指南分享》本文详解了在Java中集成OpenCV的方法,涵盖jar包导入、dll配置、JNI路径设置及跨平台兼容性处理,提供了图像处理、特征检测、实时视频分析等应用... 目录1. OpenCV简介与应用领域1.1 OpenCV的诞生与发展1.2 OpenCV的应用领域2

SpringBoot集成MyBatis实现SQL拦截器的实战指南

《SpringBoot集成MyBatis实现SQL拦截器的实战指南》这篇文章主要为大家详细介绍了SpringBoot集成MyBatis实现SQL拦截器的相关知识,文中的示例代码讲解详细,有需要的小伙伴... 目录一、为什么需要SQL拦截器?二、MyBATis拦截器基础2.1 核心接口:Interceptor

SpringBoot集成EasyPoi实现Excel模板导出成PDF文件

《SpringBoot集成EasyPoi实现Excel模板导出成PDF文件》在日常工作中,我们经常需要将数据导出成Excel表格或PDF文件,本文将介绍如何在SpringBoot项目中集成EasyPo... 目录前言摘要简介源代码解析应用场景案例优缺点分析类代码方法介绍测试用例小结前言在日常工作中,我们经

Spring boot整合dubbo+zookeeper的详细过程

《Springboot整合dubbo+zookeeper的详细过程》本文讲解SpringBoot整合Dubbo与Zookeeper实现API、Provider、Consumer模式,包含依赖配置、... 目录Spring boot整合dubbo+zookeeper1.创建父工程2.父工程引入依赖3.创建ap

Spring Boot集成Druid实现数据源管理与监控的详细步骤

《SpringBoot集成Druid实现数据源管理与监控的详细步骤》本文介绍如何在SpringBoot项目中集成Druid数据库连接池,包括环境搭建、Maven依赖配置、SpringBoot配置文件... 目录1. 引言1.1 环境准备1.2 Druid介绍2. 配置Druid连接池3. 查看Druid监控

zookeeper端口说明及介绍

《zookeeper端口说明及介绍》:本文主要介绍zookeeper端口说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、zookeeper有三个端口(可以修改)aVNMqvZ二、3个端口的作用三、部署时注意总China编程结一、zookeeper有三个端口(可以

在Spring Boot中集成RabbitMQ的实战记录

《在SpringBoot中集成RabbitMQ的实战记录》本文介绍SpringBoot集成RabbitMQ的步骤,涵盖配置连接、消息发送与接收,并对比两种定义Exchange与队列的方式:手动声明(... 目录前言准备工作1. 安装 RabbitMQ2. 消息发送者(Producer)配置1. 创建 Spr

如何在Spring Boot项目中集成MQTT协议

《如何在SpringBoot项目中集成MQTT协议》本文介绍在SpringBoot中集成MQTT的步骤,包括安装Broker、添加EclipsePaho依赖、配置连接参数、实现消息发布订阅、测试接口... 目录1. 准备工作2. 引入依赖3. 配置MQTT连接4. 创建MQTT配置类5. 实现消息发布与订阅

SpringBoot集成LiteFlow工作流引擎的完整指南

《SpringBoot集成LiteFlow工作流引擎的完整指南》LiteFlow作为一款国产轻量级规则引擎/流程引擎,以其零学习成本、高可扩展性和极致性能成为微服务架构下的理想选择,本文将详细讲解Sp... 目录一、LiteFlow核心优势二、SpringBoot集成实战三、高级特性应用1. 异步并行执行2

SpringBoot3应用中集成和使用Spring Retry的实践记录

《SpringBoot3应用中集成和使用SpringRetry的实践记录》SpringRetry为SpringBoot3提供重试机制,支持注解和编程式两种方式,可配置重试策略与监听器,适用于临时性故... 目录1. 简介2. 环境准备3. 使用方式3.1 注解方式 基础使用自定义重试策略失败恢复机制注意事项