首页
Python
Java
前端
数据库
Linux
Chatgpt专题
开发者工具箱
hadoop3.0专题
hadoop3.0结构目录介绍和hdfs的本地模式搭建
使用tree命令查看hadoop的目录机构:tree -d -L 3 hadoop-3.1.2/ -d 表示查看的是文件夹 -L 表示查看深度 hadoop-3.1.2 具体查看那个目录 也可以用tree命令直接查看,但是由于hadoop目录太深且文件较多所以展开不太现实 然后我们就看一下hadoop的结构目录: hadoop本地模式没有Hdfs功能没有Mapreduce功能,所
阅读更多...
linux下安装hadoop3.0(全分布式)
一、hadoop3.x的新特性 1. Java版本需要1.8 2. Shell脚本已部分重写(Shell script rewrite) 3. HDFS新特性 支持可删除编码(Erasure Coding)使用EC来替代副本机制,可省略大约50%的存储空间,此时副本个数为1就行支持两个及以上的namenode(即一个namenode与多个datanode)datanode数据写入平衡默认多
阅读更多...
Hadoop3.0大数据处理学习1(Haddop介绍、部署、Hive部署)
Hadoop3.0快速入门 学习步骤: 三大组件的基本理论和实际操作Hadoop3的使用,实际开发流程结合具体问题,提供排查思路 开发技术栈: Linux基础操作、Sehll脚本基础JavaSE、Idea操作MySQL Hadoop简介 Hadoop是一个适合海量数据存储与计算的平台。是基于Google的GoogleFS、Map Reduce、BigTable实现的。 分布式存储介绍
阅读更多...
Hadoop3.0大数据处理学习3(MapReduce原理分析、日志归集、序列化机制、Yarn资源调度器)
MapReduce原理分析 什么是MapReduce 前言:如果想知道一堆牌中有多少张红桃,直接的方式是一张张的检查,并数出有多少张红桃。 而MapReduce的方法是,给所有的节点分配这堆牌,让每个节点计算自己手中有几张是红桃,然后将这个数汇总,得到结果。 概述 官方介绍:MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MapRedu
阅读更多...