本文主要是介绍大数据面试题第二期*6，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
题1、Namenode挂了怎么办?
方法一：将SecondaryNameNode中数据拷贝到namenode存储数据的目录。
方法二：使用importCheckpoint选项启动namenode守护进程，从而将SecondaryNameNode中数据拷贝到namenode目录中。
题2、Hadoop 的namenode 宕机怎么解决?
先分析宕机后的损失，宕机后直接导致client无法访问，内存中的元数据丢失，但是硬盘中的元数据应该还存在，如果只是节点挂了，重启即可，如果是机器挂了，重启机器后看节点是否能重启，不能重启就要找到原因修复了。但是最终的解决方案应该是在设计集群的初期就考虑到这个问题 ，做namenode的HA。
题3、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化?
(1)序列化和反序列化
序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象。 Java的序列化是一个重量级序列化框架（Serializable），一个对象被序列化后 ，会附带很多额外的信息(各种校验信息，header，继承体系等)，不便于在网络中高效传输。所以，hadoop自己开发了一套序列化机制(Writable)，精简、高效。
(2)自定义bean对象要想序列化传输步骤及注意事项
（1）必须实现Writable接口
（2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造
（3）重写序列化方法
（4）重写反序列化方法
（5）注意反序列化的顺序和序列化的顺序完全一致
（6）要想把结果显示在文件中，需要重写toString()，且用”\t”分开，方便后续用
（7）如果需要将自定义的bean放在key中传输，则还需要实现comparable接口，因为mapreduce框中的shuffle过程一定会对key进行排序
题4、FileInputFormat切片机制
（1）简单地按照文件的内容长度进行切片
（2）切片大小，默认等于block大小
（3）切片时不考虑数据集整体，而是逐个针对每一个文件单独切片
题5、自定义InputFormat流程
（1）自定义一个类继承FileInputFormat
（2）改写RecordReader，实现一次读取一个完整文件封装为KV
题6、如何决定一个job的map和reduce的数量?
(1)map数量
splitSize=max{minSize,min{maxSize,blockSize}}
map数量由处理的数据分成的block数量决定default_num = total_size/split_size;
(2)reduce数量
reduce的数量job.setNumReduceTasks(x)，x为reduce的数量。不设置的话默认为1。
这篇关于大数据面试题第二期*6的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
