hadoop3.0专题

hadoop3.0结构目录介绍和hdfs的本地模式搭建

使用tree命令查看hadoop的目录机构:tree -d -L 3 hadoop-3.1.2/ -d 表示查看的是文件夹 -L 表示查看深度  hadoop-3.1.2 具体查看那个目录 也可以用tree命令直接查看,但是由于hadoop目录太深且文件较多所以展开不太现实 然后我们就看一下hadoop的结构目录: hadoop本地模式没有Hdfs功能没有Mapreduce功能,所

linux下安装hadoop3.0(全分布式)

一、hadoop3.x的新特性 1. Java版本需要1.8 2. Shell脚本已部分重写(Shell script rewrite) 3. HDFS新特性 支持可删除编码(Erasure Coding)使用EC来替代副本机制,可省略大约50%的存储空间,此时副本个数为1就行支持两个及以上的namenode(即一个namenode与多个datanode)datanode数据写入平衡默认多

Hadoop3.0大数据处理学习1(Haddop介绍、部署、Hive部署)

Hadoop3.0快速入门 学习步骤: 三大组件的基本理论和实际操作Hadoop3的使用,实际开发流程结合具体问题,提供排查思路 开发技术栈: Linux基础操作、Sehll脚本基础JavaSE、Idea操作MySQL Hadoop简介 Hadoop是一个适合海量数据存储与计算的平台。是基于Google的GoogleFS、Map Reduce、BigTable实现的。 分布式存储介绍

Hadoop3.0大数据处理学习3(MapReduce原理分析、日志归集、序列化机制、Yarn资源调度器)

MapReduce原理分析 什么是MapReduce 前言:如果想知道一堆牌中有多少张红桃,直接的方式是一张张的检查,并数出有多少张红桃。 而MapReduce的方法是,给所有的节点分配这堆牌,让每个节点计算自己手中有几张是红桃,然后将这个数汇总,得到结果。 概述 官方介绍:MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MapRedu