本文主要是介绍摸鱼大数据——Hive调优16-19，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
16、JVM 重用
此操作, 在hive2.x已经不需要配置了, 默认支持
jvm重用: 默认情况下, container资源容器 只能使用一次,不能重复使用, 开启JVM重用, 运行container容器可以被重复使用,在hive2.x已经默认支持了
17、推测执行
调优举例： 大数据小组，假设张三有离职苗头，大数据主管会将张三负责的项目和功能分配给到其他同事来负责。
Hadoop采用了推测执行（Speculative Execution）机制，它根据一定的法则推测出“拖后腿”的任务，并为这样的任务启动一个备份任务，让该任务与原始任务同时处理同一份数据，并最终选用最先成功运行完成任务的计算结果作为最终结果。 hadoop中默认两个阶段（map和reduce）都开启了推测执行机制。 hive本身也提供了配置项来控制reduce-side的推测执行： set hive.mapred.reduce.tasks.speculative.execution=true; 关于调优推测执行机制，还很难给一个具体的建议。如果用户对于运行时的偏差非常敏感的话，那么可以将这些功能关闭掉。如果用户因为输入数据量很大而需要执行长时间的map或者Reduce task的话，那么启动推测执行造成的浪费是非常巨大。 什么时候需要开启？ 如果提交的SQL语句，运行的耗时的远超你的预期。你就可以开启推测执行 什么时候不需要开启？ 如果对SQL的运行耗时没有特别严格的要求，那么可以不开启。不开启同时能够节约Yarn集群资源。
18、执行计划explain
使用EXPLAIN关键字可以模拟优化器执行SQL查询语句，从而知道Hive是如何处理你的SQL语句的。帮助我们了解底层原理,hive调优,排查数据倾斜等有很有帮助 使用示例：explain [...] sql查询语句; explain sql语句: 查看执行计划的基本信息
（1）stage dependencies：各个stage之间的依赖性
包含多个stage阶段,例如 Stage-1和Stage-0，Stage-1 是根stage，Stage-0 依赖 Stage-1，
（2）stage plan：各个stage的执行计划
包含两部分: map端执行计划树和reduce端执行计划树
explain select * from score_part_tb_dynamic order by score desc;
19 、Hive调优总结
1- 在实际工作中一般不需要针对所有参数去做调整。因为Hive官方已经是提供性能很好的参数配置 2- 理解这些调优手段带来的好处。 3- 参数调优也不是说一下子就能调的很好，需要反复多次的进行参数调整测试
这篇关于摸鱼大数据——Hive调优16-19的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
