本文主要是介绍大数据面试-20210316，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
目录
1、简单讲述一下Yarn Application生命周期
2、Hive如何避免小文件的产生,你会如何处理大量小文件？
3、现在给你3条数据
1、简单讲述一下Yarn Application生命周期
1、client向RM提交应用程序，其中包括启动该应用的ApplicationMaster的必须信息，例如ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。
2、ResourceManager启动一个container用于运行ApplicationMaster。
3、启动中的ApplicationMaster向ResourceManager注册自己，启动成功后与RM保持心跳。
4、ApplicationMaster向ResourceManager发送请求，申请相应数目的container。
5、申请成功的container，由ApplicationMaster进行初始化。container的启动信息初始化后，AM与对应的NodeManager通信，要求NM启动container。
6、NM启动启动container。
7、container运行期间，ApplicationMaster对container进行监控。container通过RPC协议向对应的AM汇报自己的进度和状态等信息。
8、应用运行结束后，ApplicationMaster向ResourceManager注销自己，并允许属于它的container被收回。
1、用户通过client向YARN提交application，如mr、spark任务，ResourceManager(资源管理器)接收到客户端程序的运行请求。
2、ResourceManager分配一个Container(资源)用来启动ApplicationMaster(程序管理员)，并告知NodeManager(节点管理员)，要求它在这个Container下启动ApplicationMaster。
3、ApplicationMaster启动后，向ResourceManager发起注册请求。这样用户可以通过ResourceManager来查看应用程序的运行状态，然后ApplicationMaster将为各个任务申请资源，并监控任务的运行状态，直到运行结束，即重复步骤4~7。
4、ApplicationMaster通过轮询的方式通过rpc协议向ResourceManager申请资源。
5、一旦取得资源后，ApplicationMaster便向对应的NodeManager通信，要求其启动任务。
6、NodeManager为任务设置好运行环境后，如环境变量、jar包等，便启动各个任务。
7、各个任务通过rpc协议不断汇报状态和进展给ApplicationMaster，以让ApplicationMaster随时掌握其运行状态，从而可以在任务失败时重启任务。
8、当任务全部完成时，ApplicationMaster向ResourceManager汇报任务完成，并注销关闭自己。
2、Hive如何避免小文件的产生,你会如何处理大量小文件？
小文件产生的原因有很多,例如：读取数据源时的大量小文件,使用动态分区插入数据时产生,Reduce/Task数量较多.
HDFS产生小文件过多会影响NameNode的寿命,因为文件元数据存储在NameNode的内存中。同时影响计算引擎的任务数量，比如每个小的文件都会生成一个Map任务
解决的办法有:
（1）合并小文件：对小文件进行归档（Har）、自定义Inputformat将小文件存储成SequenceFile文件。
（2）采用ConbinFileInputFormat来作为输入，解决输入端大量小文件场景。（3）对于大量小文件Job，可以开启JVM重用。
对Hive可以直接设置相关参数
智力题
3、现在给你3条数据
1^Java高级^北苑^信息安全,中级,大数据,架构^闲徕互娱^20k-40k^本科^经验5-10年^游戏^不需要融资
2^Java开发工程师^金融街^中级,架构^漫道科技^8k-16k^本科^经验3-5年^移动互联网,金融^不需要融资
3^DBA^北京^旅游,数据库,运维,大数据,NoSQL^漫道科技^25k-35k^本科^经验5-10年^移动互联网,游戏^不需要融资
中文解释
id 工作岗位 地址 标签 公司 薪资 学历 经验 类型 融资级别
字段：
id job addr tag company salary edu exp type level
需求：求出不同标签的招聘数量和公司数量
为了方便理解，sql解析后的结果如下：
select
tag,count(1) as job_num,
count(distinct company) as company_num
from tmp group by tag
结果样式：
高级,5232,1414
金融,4865,995
资深,3717,1080
.....
需要你用 spark core 的方式，实现类似的结果：
这篇关于大数据面试-20210316的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
