在上一章中，我们了解了HDFS的设计思想，从而引出了一些相关概念，比如块、名称节点（Namenode）、数据节点（Datanode）、还有SecondaryNamenode等等。在这一章，我们从HDFS的整体结构上再来全面了解一下。 一、体系结构简介 HDFS 采用的是master/slaves这种主从的结构模型来管理数据，这种结构模型主要由四个部分组成，分别是Client(客户端)、Na

在这一章里，我们来具体了解一下客户端与HDFS、Namenode和Datanode之间的数据流到底是什么样子的。我们分别从两个方面来了解数据流，一个是客户端从HDFS中读数据，一个是客户端向HDFS中写数据。 一、读流程解析 我们来结合一下代码和流程图来解析一下HDFS的读流程。 public static void main(String[] args) throws Exception

一、HDFS简介 1、简单介绍 HDFS（Hadoop  Distributed  FileSystem），是Hadoop项目的两大核心之一，源自于Google于2003年10月发表的GFS论文，是对GFS的开源实现。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。 HDFS在设计之初，就是要运行在通用硬件(commodity hardware)上，即廉价的大型

在这一章里，我们来学习如何在Windows操作系统下，搭建Hadoop2.7.3集群的Eclipse开发环境。 一、准备工作 1、安装Hadoop2.7.3集群 我们使用VMware工具安装多台Linux系统，然后在Linux系统上搭建我们所需要的Hadoop2.7.3完全分布式集群。具体步骤可以参考我写的《Hadoop》之"踽踽独行"（十）快速搭建一个Hadoop完全分布式集群或者是另一篇