hadoop3.0结构目录介绍和hdfs的本地模式搭建

2024-06-08 15:08

本文主要是介绍hadoop3.0结构目录介绍和hdfs的本地模式搭建,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

使用tree命令查看hadoop的目录机构:tree -d -L 3 hadoop-3.1.2/

-d 表示查看的是文件夹

-L 表示查看深度 

hadoop-3.1.2 具体查看那个目录

也可以用tree命令直接查看,但是由于hadoop目录太深且文件较多所以展开不太现实

然后我们就看一下hadoop的结构目录:

hadoop本地模式没有Hdfs功能没有Mapreduce功能,所以它修改特别方便

只需etc目录下的hadoop-env.sh中的:

默认export JAVA_HOME是被注释掉的,我们放开并把它附上我们之前配置好的java的全路径也行,配置它的环境变量也行

这里注意了,需要配置JAVA_HOME的全路径,它的环境变量不行我以为可以获取到,但是在我配置伪分布后启动的时候这里

就报错了

[root@bigdata111 ~]# start-all.sh
Starting namenodes on [bigdata111]
上一次登录:五 3月 20 12:45:07 CST 2020从 192.168.112.111pts/1 上
bigdata111: ERROR: JAVA_HOME is not set and could not be found.
Starting datanodes
上一次登录:五 3月 20 12:52:09 CST 2020pts/0 上
localhost: ERROR: JAVA_HOME is not set and could not be found.
Starting secondary namenodes [bigdata111]
上一次登录:五 3月 20 12:52:10 CST 2020pts/0 上
bigdata111: ERROR: JAVA_HOME is not set and could not be found.
Starting resourcemanager
上一次登录:五 3月 20 12:52:13 CST 2020pts/0 上
resourcemanager is running as process 12903.  Stop it first.
Starting nodemanagers
上一次登录:五 3月 20 12:52:20 CST 2020pts/0 上
localhost: ERROR: JAVA_HOME is not set and could not be found.

然后我们测试一下这个hadoop,我们就是用hadoop提供的一个wordcount的mapreduce程序测试

首先准备一个文件在/root/temp/input/data.txt

文件内容:

I love Beijing 

I love China

Beijing of the capital of china

我们先看一下这个目录中有哪些程序,使用hadoop jar hadoop-mapreduce-examples-3.1.2.jar 

我们就是用图中那个wordcount的例子 ,执行如下命令

hadoop jar hadoop-mapreduce-examples-3.1.2.jar wordcount  /root/temp/input/ /root/temp/output/wc

/root/temp/input/   :表示输入程序的位置,可以是文件夹,也可以是具体某个文件,如果是文件夹的或那表示这个文件夹下的所有文件

/root/temp/ountput/wc :表示计算结果输出目录,最后一级不能事先存在

如果存在了他会把一个错误

如果正常执行那么就在你的输出文件夹生成俩个文件,

—SUCCESS 是一个状态文件表示成功

part-r-00000就是计算结果文件

最后我们查看这个文件会得到如下结果,说明你就搭建完成了,不过本地默认一般没有什么作用

这篇关于hadoop3.0结构目录介绍和hdfs的本地模式搭建的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1042528

相关文章

Java设计模式---迭代器模式(Iterator)解读

《Java设计模式---迭代器模式(Iterator)解读》:本文主要介绍Java设计模式---迭代器模式(Iterator),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录1、迭代器(Iterator)1.1、结构1.2、常用方法1.3、本质1、解耦集合与遍历逻辑2、统一

Java 线程安全与 volatile与单例模式问题及解决方案

《Java线程安全与volatile与单例模式问题及解决方案》文章主要讲解线程安全问题的五个成因(调度随机、变量修改、非原子操作、内存可见性、指令重排序)及解决方案,强调使用volatile关键字... 目录什么是线程安全线程安全问题的产生与解决方案线程的调度是随机的多个线程对同一个变量进行修改线程的修改操

Python中win32包的安装及常见用途介绍

《Python中win32包的安装及常见用途介绍》在Windows环境下,PythonWin32模块通常随Python安装包一起安装,:本文主要介绍Python中win32包的安装及常见用途的相关... 目录前言主要组件安装方法常见用途1. 操作Windows注册表2. 操作Windows服务3. 窗口操作

一文详解Git中分支本地和远程删除的方法

《一文详解Git中分支本地和远程删除的方法》在使用Git进行版本控制的过程中,我们会创建多个分支来进行不同功能的开发,这就容易涉及到如何正确地删除本地分支和远程分支,下面我们就来看看相关的实现方法吧... 目录技术背景实现步骤删除本地分支删除远程www.chinasem.cn分支同步删除信息到其他机器示例步骤

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》:本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后,在安装目录下会有一个data目录,我们创建的数据库、创建的表、插入的

c++中的set容器介绍及操作大全

《c++中的set容器介绍及操作大全》:本文主要介绍c++中的set容器介绍及操作大全,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录​​一、核心特性​​️ ​​二、基本操作​​​​1. 初始化与赋值​​​​2. 增删查操作​​​​3. 遍历方

MySQL中的索引结构和分类实战案例详解

《MySQL中的索引结构和分类实战案例详解》本文详解MySQL索引结构与分类,涵盖B树、B+树、哈希及全文索引,分析其原理与优劣势,并结合实战案例探讨创建、管理及优化技巧,助力提升查询性能,感兴趣的朋... 目录一、索引概述1.1 索引的定义与作用1.2 索引的基本原理二、索引结构详解2.1 B树索引2.2

前端如何通过nginx访问本地端口

《前端如何通过nginx访问本地端口》:本文主要介绍前端如何通过nginx访问本地端口的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、nginx安装1、下载(1)下载地址(2)系统选择(3)版本选择2、安装部署(1)解压(2)配置文件修改(3)启动(4)

如何使用Maven创建web目录结构

《如何使用Maven创建web目录结构》:本文主要介绍如何使用Maven创建web目录结构的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录创建web工程第一步第二步第三步第四步第五步第六步第七步总结创建web工程第一步js通过Maven骨架创pytho

HTML img标签和超链接标签详细介绍

《HTMLimg标签和超链接标签详细介绍》:本文主要介绍了HTML中img标签的使用,包括src属性(指定图片路径)、相对/绝对路径区别、alt替代文本、title提示、宽高控制及边框设置等,详细内容请阅读本文,希望能对你有所帮助... 目录img 标签src 属性alt 属性title 属性width/h