大数据面试题第一期*4

本文主要是介绍大数据面试题第一期*4，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

题1、HDFS存储机制

（1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。
（2）namenode返回是否可以上传。
（3）客户端请求第一个 block上传到哪几个datanode服务器上。
（4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。
（5）客户端请求dn1上传数据，dn1收到请求会继续调用dn2 ，然后dn2调用dn3 ，将这个通信管道建立完成。
（6）dn1、dn2、dn3逐级应答客户端
（7）客户端开始往dn1上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，dn1 收到一个packet就会传
给dn2 ，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。
（8）当一个block传输完成之后，客户端再次请求namenode上传第二个block的服务器。（重复执行3-7步）

题2、SecondaryNameNode 工作机制

第一阶段：namenode启动
（1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
（2）客户端对元数据进行增删改的请求。
（3）namenode记录操作日志，更新滚动日志。
（4）namenode在内存中对数据进行增删改查。
第二阶段：Secondary NameNode工作
（1）Secondary NameNode询问namenode是否需要checkpoint。直接带回namenode是否检查结果。
（2）Secondary NameNode请求执行checkpoint。
（3）namenode滚动正在写的edits日志。
（4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
（5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
（6）生成新的镜像文件fsimage.chkpoint。
（7）拷贝fsimage.chkpoint到namenode。
（8）namenode将fsimage.chkpoint重新命名成fsimage。

题3、NameNode与SecondaryNameNode区别与联系

一、区别：
（1）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。
（2）SecondaryNameNode主要用于定期合并命名空间镜像和命名空间镜像的编辑日志。
二、联系：
（1）SecondaryNameNode中保存了一份和namenode一致的镜像文件(fsimage)和编辑日志(edits)。
（2）在主namenode发生故障时（假设没有及时备份数据），可以从SecondaryNameNode恢复数据。

题4、服役新数据节点和退役旧节点步骤

一、节点上线操作：
（1）当要新上线数据节点的时候，需要把数据节点的名字追加在 dfs.hosts 文件中，关闭新增节点的防火墙
（2）在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname
（3）在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname
（4）在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作
（5）在 NameNode 节点上的 dfs.hosts 中追加上新增节点的 hostname
（6）在其他节点上执行刷新操作：hdfs dfsadmin -refreshNodes
（7）在 NameNode 节点上，更改 slaves 文件，将要上线的数据节点 hostname 追加到 slaves 文件中
（8）启动 DataNode 节点
（9）查看 NameNode 的监控页面看是否有新增加的节点
二、节点下线操作：
（1）修改/conf/hdfs-site.xml 文件
（2）确定需要下线的机器，dfs.osts.exclude 文件中配置好需要下架的机器，这个是阻止下架的机器去连接 NameNode。
（3）配置完成之后进行配置的刷新操作./bin/hadoop dfsadmin -refreshNodes,这个操作的作用是在后台进行 block 块的移动。
（4）当执行三的命令完成之后，需要下架的机器就可以关闭了，可以查看现在集群上连接的节点，正在执行 Decommission，
会显示：Decommission Status : Decommission in progress 执行完毕后，会显示：Decommission Status : Decommissioned
（5）机器下线完毕，将他们从excludes 文件中移除。