Cloudera hadoop配置文件地址和修改配置属性方法

2024-03-19 13:48

本文主要是介绍Cloudera hadoop配置文件地址和修改配置属性方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

问题导读
1.cloudera 的配置文件路径默认在什么位置?
2.如何通过cloudera manager web UI修改配置文件?


配置文件地址:

Hadoop: /etc/hadoop/conf
hbase: /etc/hadoop/conf
hive: /etc/hive/conf

使用cloudera manager web UI 修改hadoop .xml文件属性方法:

For Cloudera the best way to push this configuration to the nodes is to use the Cloudera manager GUI.


 
From the Cloudera web page, click on the HDFS service under Status to open the HDFS service.
 
Click Configuration, and choose View and Edit
 
On the left panel expand Service-Wide and click advance
 
Click on Cluster-wide Configuration Safety Valve for core-site.xml
Enter the setting from Table above

 
Settings entered into core-site safety valve
 
At the top right of the page, Click Save Changes
 
Go back to the Cloudera Manager Home screen. Using the drop down stop the HDFS service.
 
Using the drop down next to the Status, deploy the client configuration
g
 
Using the drop down, restart the Mapreduce service.


 


Check that the nodes have received the correct configuration. From the CLI on a node do a grep on the core-site.xml and search for HSK
cat /etc/hadoop/conf.cloudera.hdfs1/core-site.xml |grep HSK


Next Upload the Java ViPR client JAR file to a client using WinSCP and copy it to the Hadoop Classpath on all Hadoop nodes.


 

On the first node where you have uploaded the ViPr client copy it to the Cloudera Classpath
cp hadoop-2.0.x-alpha-viprfs-1.0.1.jar /opt/cloudera/parcels/CDH-4.5.0-1.cdh4.5.0.p0.30/lib/hadoop/lib


 

Copy it to all the other nodes in your cluster using the scp command. Do this for all hosts.
scp hadoop-2.0.x-alpha-viprfs-1.0.1.jar  root@cdhnode8.ebc.emc.local :/opt/cloudera/parcels/CDH-4.5.0-1.cdh4.5.0.p0.30/lib/hadoop/lib


 


Validate that the connection is working with a hadoop list command. First using the ViPR URL then just a normal Hadoop list:



修改Hive配置文件路径的方法: hive1->configuration->view and edit->default->HiveServer2->Advanced 

如果想对hive-site.xml的修改存储在Cloudera Manager,则可通过上面的方法选择Hive Service Configuration Safety Valve for hive-site.xml来添加属性。
如果想要将所添加的属性,出现在服务器的/etc/hive/conf/hive-site.xml文件中,则可以hive1->configuration->view and edit->default->Gateway->Advanced->Hive Client Configuration Safety Valve for hive-site.xml

Be sure to restart Hive, restart any dependent services (Hue and Impala), and deploy client configs after making a configuration change.

这篇关于Cloudera hadoop配置文件地址和修改配置属性方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/826189

相关文章

Python安装Pandas库的两种方法

《Python安装Pandas库的两种方法》本文介绍了三种安装PythonPandas库的方法,通过cmd命令行安装并解决版本冲突,手动下载whl文件安装,更换国内镜像源加速下载,最后建议用pipli... 目录方法一:cmd命令行执行pip install pandas方法二:找到pandas下载库,然后

SpringBoot多环境配置数据读取方式

《SpringBoot多环境配置数据读取方式》SpringBoot通过环境隔离机制,支持properties/yaml/yml多格式配置,结合@Value、Environment和@Configura... 目录一、多环境配置的核心思路二、3种配置文件格式详解2.1 properties格式(传统格式)1.

Debian系和Redhat系防火墙配置方式

《Debian系和Redhat系防火墙配置方式》文章对比了Debian系UFW和Redhat系Firewalld防火墙的安装、启用禁用、端口管理、规则查看及注意事项,强调SSH端口需开放、规则持久化,... 目录Debian系UFW防火墙1. 安装2. 启用与禁用3. 基本命令4. 注意事项5. 示例配置R

PyCharm中配置PyQt的实现步骤

《PyCharm中配置PyQt的实现步骤》PyCharm是JetBrains推出的一款强大的PythonIDE,结合PyQt可以进行pythion高效开发桌面GUI应用程序,本文就来介绍一下PyCha... 目录1. 安装China编程PyQt1.PyQt 核心组件2. 基础 PyQt 应用程序结构3. 使用 Q

Linux系统中查询JDK安装目录的几种常用方法

《Linux系统中查询JDK安装目录的几种常用方法》:本文主要介绍Linux系统中查询JDK安装目录的几种常用方法,方法分别是通过update-alternatives、Java命令、环境变量及目... 目录方法 1:通过update-alternatives查询(推荐)方法 2:检查所有已安装的 JDK方

SQL Server安装时候没有中文选项的解决方法

《SQLServer安装时候没有中文选项的解决方法》用户安装SQLServer时界面全英文,无中文选项,通过修改安装设置中的国家或地区为中文中国,重启安装程序后界面恢复中文,解决了问题,对SQLSe... 你是不是在安装SQL Server时候发现安装界面和别人不同,并且无论如何都没有中文选项?这个问题也

Java Thread中join方法使用举例详解

《JavaThread中join方法使用举例详解》JavaThread中join()方法主要是让调用改方法的thread完成run方法里面的东西后,在执行join()方法后面的代码,这篇文章主要介绍... 目录前言1.join()方法的定义和作用2.join()方法的三个重载版本3.join()方法的工作原

Redis MCP 安装与配置指南

《RedisMCP安装与配置指南》本文将详细介绍如何安装和配置RedisMCP,包括快速启动、源码安装、Docker安装、以及相关的配置参数和环境变量设置,感兴趣的朋友一起看看吧... 目录一、Redis MCP 简介二、安www.chinasem.cn装 Redis MCP 服务2.1 快速启动(推荐)2.

Spring Boot配置和使用两个数据源的实现步骤

《SpringBoot配置和使用两个数据源的实现步骤》本文详解SpringBoot配置双数据源方法,包含配置文件设置、Bean创建、事务管理器配置及@Qualifier注解使用,强调主数据源标记、代... 目录Spring Boot配置和使用两个数据源技术背景实现步骤1. 配置数据源信息2. 创建数据源Be

在MySQL中实现冷热数据分离的方法及使用场景底层原理解析

《在MySQL中实现冷热数据分离的方法及使用场景底层原理解析》MySQL冷热数据分离通过分表/分区策略、数据归档和索引优化,将频繁访问的热数据与冷数据分开存储,提升查询效率并降低存储成本,适用于高并发... 目录实现冷热数据分离1. 分表策略2. 使用分区表3. 数据归档与迁移在mysql中实现冷热数据分