1.7.1 大数据-HUE可视化软件安装

2024-03-16 13:08

本文主要是介绍1.7.1 大数据-HUE可视化软件安装,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

版本

hue-3.9.0-cdh5.5.0

下载解压

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0.tar.gz

tar -zxf hue-3.9.0-cdh5.5.0.tar.gz -C /opt/modules

编译

  1. 联网虚拟机里面设置为自动连接
  2. 切换为root用户
  3. 安装相关依赖包
yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi gcc gcc-c++ krb5-devel libtidy libxml2-devel libxslt-devel openldap-devel python-devel sqlite-devel openssl-devel mysql-devel gmp-devel

根目录编译

make app

切换kfk用户并授权

sudo chmod -R 777 hue-3.9.0-cdh5.5.0/

配置

资料http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html

/opt/modules/hue-3.9.0-cdh5.5.0/desktop/conf/hue.ini

  secret_key=jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o# Webserver listens on this address and porthttp_host=bigdata-pro03.kfk.comhttp_port=8888# Time zone nametime_zone=Asia/Shanghai

启动服务

[kfk@bigdata-pro03 hue-3.9.0-cdh5.5.0]$ ./build/env/bin/supervisor 

登录

http://bigdata-pro03.kfk.com:8888/
kfk kfk

集成HDFS

/opt/modules/hue-3.9.0-cdh5.5.0/desktop/conf/hue.ini

fs_defaultfs=hdfs://ns
webhdfs_url=http://bigdata-pro01.kfk.com:50070/webhdfs/v1
hadoop_conf_dir=/opt/modules/hadoop-2.5.0/etc/hadoop
hadoop_bin=/opt/modules/hadoop-2.5.0/bin
hadoop_hdfs_home=/opt/modules/hadoop-2.5.0

三台配置
hadoop-2.5.0/etc/hadoop/core-site.xml 不配报没权限
Note: you are a Hue admin but not a HDFS superuser, "hdfs" or part of HDFS supergroup, "supergroup".
default_hdfs_superuser=kfk

<!--hue-->
<property><name>hadoop.proxyuser.hue.hosts</name><value>*</value>
</property>
<property><name>hadoop.proxyuser.hue.groups</name><value>*</value>
</property>

重启服务

[kfk@bigdata-pro01 hadoop-2.5.0]$ sbin/stop-all.sh
[kfk@bigdata-pro01 hadoop-2.5.0]$ sbin/start-all.sh[kfk@bigdata-pro03 hue-3.9.0-cdh5.5.0]$ ./build/env/bin/supervisor

集成报错Address already in use 解决

[kfk@bigdata-pro03 lib]$ ps -aPID TTY          TIME CMD
12991 pts/0    00:00:00 vim
18707 pts/0    00:03:00 java
18851 pts/0    00:00:00 bash
18864 pts/0    00:00:04 java
22839 pts/2    00:00:00 su
22844 pts/2    00:00:00 bash
27001 pts/0    00:00:00 supervisor
27007 pts/0    00:00:10 hue
27864 pts/1    00:00:00 vim
27964 pts/3    00:00:05 java
28058 pts/1    00:00:00 ps
杀掉进程 kill -9 27001

方案二 反复启动没杀好 用这个找hue supervisor

[kfk@bigdata-pro03 hue-3.9.0-cdh5.5.0]$ lsof -i

问题:StandbyException: Operation category READ is not supported in state standby

重启导致 namenode重置了 修改访问网址

/opt/modules/hue-3.9.0-cdh5.5.0/desktop/conf/hue.ini
webhdfs_url=http://bigdata-pro02.kfk.com:50070/webhdfs/v1

集成yarn

      resourcemanager_host=rs# The port where the ResourceManager IPC listens onresourcemanager_port=8032# Whether to submit jobs to this clustersubmit_to=True# Resource Manager logical name (required for HA)## logical_name=# Change this if your YARN cluster is Kerberos-secured## security_enabled=false# URL of the ResourceManager APIresourcemanager_api_url=http://bigdata-pro02.kfk.com:8088# URL of the ProxyServer APIproxy_api_url=http://bigdata-pro02.kfk.com:8088# URL of the HistoryServer APIhistory_server_api_url=http://bigdata-pro02.kfk.com:19888

集成hive

[beeswax]# Host where HiveServer2 is running.# If Kerberos security is enabled, use fully-qualified domain name (FQDN).## hive_server_host=localhosthive_server_host=bigdata-pro03.kfk.com# Port where HiveServer2 Thrift server runs on.hive_server_port=10000# Hive configuration directory, where hive-site.xml is locatedhive_conf_dir=/opt/modules/hive-0.13.1-bin/conf

启动 nohup bin/hiveserver2 &

HiveServer2(HS2)是一个服务端接口,使远程客户端可以执行对Hive的查询并返回结果。目前基于Thrift RPC的实现是HiveServer的改进版本,并支持多客户端并发和身份验证

<property><name>hive.server2.thrift.port</name><value>10000</value>
</property><property><name>hive.server2.thrift.bind.host</name><value>bigdata-pro03.kfk.com</value></property>

hadoop core-site.xml

<property>     <name>hadoop.proxyuser.kfk.hosts</name>     <value>*</value>
</property> 
<property>     <name>hadoop.proxyuser.kfk.groups</name>    <value>*</value> 
</property>

集成mysql

  [[[mysql]]]# Name to show in the UI.nice_name="MySQL-Sky"# For MySQL and PostgreSQL, name is the name of the database.# For Oracle, Name is instance of the Oracle server. For express edition# this is 'xe' by default.name=metastore# Database backend to use. This can be:# 1. mysql# 2. postgresql# 3. oracleengine=mysql# IP or hostname of the database to connect to.host=bigdata-pro01.kfk.com# Port the database server is listening to. Defaults are:# 1. MySQL: 3306# 2. PostgreSQL: 5432# 3. Oracle Express Edition: 1521## port=3306# Username to authenticate with when connecting to the database.user=root# Password matching the username to authenticate with when# connecting to the database.password=123456

集成HBASE

启动thrift服务

bin/hbase-daemon.sh  start  thrift
[hbase]# Comma-separated list of HBase Thrift servers for clusters in the format of '(name|host:port)'.# Use full hostname with security.# If using Kerberos we assume GSSAPI SASL, not PLAIN.hbase_clusters=(Cluster|bigdata-pro01.kfk.com:9090)# HBase configuration directory, where hbase-site.xml is located.hbase_conf_dir=/opt/modules/hbase-0.98.6-cdh5.3.0/conf

其他

下面版本=hue4.2 HIVE查询可联想 有进度条 另一个工具
tar -zxf hue-3.9.0-cdh5.12.1.tar.gz 联想 进度条

这篇关于1.7.1 大数据-HUE可视化软件安装的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/815586

相关文章

安装centos8设置基础软件仓库时出错的解决方案

《安装centos8设置基础软件仓库时出错的解决方案》:本文主要介绍安装centos8设置基础软件仓库时出错的解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录安装Centos8设置基础软件仓库时出错版本 8版本 8.2.200android4版本 javas

详解如何使用Python构建从数据到文档的自动化工作流

《详解如何使用Python构建从数据到文档的自动化工作流》这篇文章将通过真实工作场景拆解,为大家展示如何用Python构建自动化工作流,让工具代替人力完成这些数字苦力活,感兴趣的小伙伴可以跟随小编一起... 目录一、Excel处理:从数据搬运工到智能分析师二、PDF处理:文档工厂的智能生产线三、邮件自动化:

Python数据分析与可视化的全面指南(从数据清洗到图表呈现)

《Python数据分析与可视化的全面指南(从数据清洗到图表呈现)》Python是数据分析与可视化领域中最受欢迎的编程语言之一,凭借其丰富的库和工具,Python能够帮助我们快速处理、分析数据并生成高质... 目录一、数据采集与初步探索二、数据清洗的七种武器1. 缺失值处理策略2. 异常值检测与修正3. 数据

pandas实现数据concat拼接的示例代码

《pandas实现数据concat拼接的示例代码》pandas.concat用于合并DataFrame或Series,本文主要介绍了pandas实现数据concat拼接的示例代码,具有一定的参考价值,... 目录语法示例:使用pandas.concat合并数据默认的concat:参数axis=0,join=

C#代码实现解析WTGPS和BD数据

《C#代码实现解析WTGPS和BD数据》在现代的导航与定位应用中,准确解析GPS和北斗(BD)等卫星定位数据至关重要,本文将使用C#语言实现解析WTGPS和BD数据,需要的可以了解下... 目录一、代码结构概览1. 核心解析方法2. 位置信息解析3. 经纬度转换方法4. 日期和时间戳解析5. 辅助方法二、L

Pytorch介绍与安装过程

《Pytorch介绍与安装过程》PyTorch因其直观的设计、卓越的灵活性以及强大的动态计算图功能,迅速在学术界和工业界获得了广泛认可,成为当前深度学习研究和开发的主流工具之一,本文给大家介绍Pyto... 目录1、Pytorch介绍1.1、核心理念1.2、核心组件与功能1.3、适用场景与优势总结1.4、优

使用Python和Matplotlib实现可视化字体轮廓(从路径数据到矢量图形)

《使用Python和Matplotlib实现可视化字体轮廓(从路径数据到矢量图形)》字体设计和矢量图形处理是编程中一个有趣且实用的领域,通过Python的matplotlib库,我们可以轻松将字体轮廓... 目录背景知识字体轮廓的表示实现步骤1. 安装依赖库2. 准备数据3. 解析路径指令4. 绘制图形关键

conda安装GPU版pytorch默认却是cpu版本

《conda安装GPU版pytorch默认却是cpu版本》本文主要介绍了遇到Conda安装PyTorchGPU版本却默认安装CPU的问题,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的... 目录一、问题描述二、网上解决方案罗列【此节为反面方案罗列!!!】三、发现的根本原因[独家]3.1 p

如何确定哪些软件是Mac系统自带的? Mac系统内置应用查看技巧

《如何确定哪些软件是Mac系统自带的?Mac系统内置应用查看技巧》如何确定哪些软件是Mac系统自带的?mac系统中有很多自带的应用,想要看看哪些是系统自带,该怎么查看呢?下面我们就来看看Mac系统内... 在MAC电脑上,可以使用以下方法来确定哪些软件是系统自带的:1.应用程序文件夹打开应用程序文件夹

windows系统上如何进行maven安装和配置方式

《windows系统上如何进行maven安装和配置方式》:本文主要介绍windows系统上如何进行maven安装和配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不... 目录1. Maven 简介2. maven的下载与安装2.1 下载 Maven2.2 Maven安装2.