[喵咪大数据]HUE大数据管理工具

2024-05-31 07:18
文章标签 工具 数据 数据管理 hue

本文主要是介绍[喵咪大数据]HUE大数据管理工具,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

日常的大数据使用中经常是在服务器命名行中进行操作,可视化功能仅仅依靠着各个组件自带的网页进行,那么有没有一个可以结合大家能在一个网页上的管理工具呢?答案是肯定的,今天就和大家一起来探索大数据管理工具HUE的庐山真面目.

附上:

喵了个咪的博客:w-blog.cn

1.环境准备

编译依赖

wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo
sudo yum install apache-maven ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-devel sqlite-devel gmp-devel libffi libffi-devel
ca /app/install
wget http://archive-primary.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.4.2.tar.gz
> chown -R root:root hue-3.7.0-cdh5.4.4
> chmod -R 777 hue-3.7.0-cdh5.4.4
# 启动方式
/app/install/hue-3.7.0-cdh5.4.4/build/env/bin/python2.7 /app/install/hue-3.7.0-cdh5.4.4/build/env/bin/hue runcherrypyserver

2.配置文件修改

修改配置文件

vim /app/install/hue-3.7.0-cdh5.4.4/desktop/conf/hue.ini
  • http_host = 0.0.0.0 (Hue Web Server所在主机/IP)
  • http_port = 8000 (Hue Web Server服务端口)
  • server_user = hadoop (运行Hue Web Server的进程用户)
  • server_group = hadoop (运行Hue Web Server的进程用户组)
  • default_user = hadoop (Hue管理员)
  • default_hdfs_superuser = hadoop (HDFS管理用户)
  • fs_defaultfs = hdfs://hadoop-1:8020 (对应core-site.xml配置项fs.defaultFS)
  • webhdfs_url = http://hadoop-1:50070/webhdfs/v1 (webhdfs访问地址)
  • hadoop_conf_dir = /usr/local/hadoop-2.7.3/etc/hadoop (Hadoop配置文件目录)
  • resourcemanager_host = hadoop (对应yarn-site.xml配置项yarn.resourcemanager.hostname)
  • resourcemanager_api_url = http://hadoop-1:8088 (对应于yarn-site.xml配置项yarn.resourcemanager.webapp.address)
  • proxy_api_url = http://hadoop-1:8088 (对应yarn-site.xml配置项yarn.web-proxy.address)
  • history_server_api_url = http://hadoo-1:19888 (对应mapred-site.xml配置项mapreduce.jobhistory.webapp.address)
  • hive_server_host = hadoop-1 (Hive所在节点主机名/IP)
  • hive_server_port = 10000 (HiveServer2服务端口号)
  • hive_conf_dir = /usr/local/hive-2.3.0/conf (Hive配置文件目录)

一定要增加一个hue用户

useradd hue

发现是webhdfs都是可以

curl –i "http://dev-hadoop:50070/webhdfs/v1/user?user.name=hadoop&op=GETFILESTATUS"

需要配置Hadoop访问权限

vim /usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml<property><name>hadoop.proxyuser.hadoop.hosts</name><value>*</value>
</property><property><name>hadoop.proxyuser.hadoop.groups</name><value>*</value>
</property>
vim /usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>

重启hadoop如果不行重启服务器

3.使用HUE

可以在线执行Hive语句(这里注意如果是Hbase关联表是无法在HUE平台使用的解决方法可以导出到Hive中的一个表在进查询)

直接查看hdfs文件系统

管理 hadoop 作业

管理zookeeper状态

关于hbase 不支持 thrift2 需要使用 hive使用thrift1 的版本才能结合使用 启动之后就可以看到如下结果

4 总结

在各种各样的组件下HUE无疑是最好的web工具的选择,HUE还有很多其他的功能包括我们后面要说到的spark,sqoop等相关的组件都可以通过HUE进行在线管理.

注:笔者能力有限有说的不对的地方希望大家能够指出,也希望多多交流!

这篇关于[喵咪大数据]HUE大数据管理工具的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1017556

相关文章

MyBatis-Plus通用中等、大量数据分批查询和处理方法

《MyBatis-Plus通用中等、大量数据分批查询和处理方法》文章介绍MyBatis-Plus分页查询处理,通过函数式接口与Lambda表达式实现通用逻辑,方法抽象但功能强大,建议扩展分批处理及流式... 目录函数式接口获取分页数据接口数据处理接口通用逻辑工具类使用方法简单查询自定义查询方法总结函数式接口

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查