本文主要是介绍HBASE学习九：数据写入 -＞ BulkLoad，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
1、功能
在实际生产环境中，有这样一种场景：用户数据位于HDFS中，业务需要定期将这部分海量数据导入HBase系统，以执行随机查询更新操作。这种场景如果调用写入API进行处理，极有可能会给RegionServer带来较大的写入压力：
- 引起RegionServer频繁f lush，进而不断compact、split，影响集群稳定性。
- 引起RegionServer频繁GC，影响集群稳定性。
- 消耗大量CPU资源、带宽资源、内存资源以及IO资源，与其他业务产生资源竞争。
- 在某些场景下，比如平均KV大小比较大的场景，会耗尽RegionServer的处理线程，导致集群阻塞。
鉴于存在上述问题，HBase提供了另一种将数据写入HBase集群的方法——BulkLoad。
BulkLoad首先使用MapReduce将待写入集群数据转换为HFile文件，再直接将这些HFile文件加载到在线集群中。显然，BulkLoad方案没有将写请求发送给RegionServer处理，可以有效避免上述一系列问题。
1.3x版本后hbase开始支持Bulkload数据复制，为了开启该功能，需要开启开关：hbase.replication. bulkload.enabled=true。
2、核心流程
BulkLoad主要由两个阶段组成：HFile生成阶段与HFile导入阶段。
2.1 HFile生成阶段
这个阶段会运行一个MapReduce任务，MapReduce的mapper需要自己实现
这篇关于HBASE学习九：数据写入 -＞ BulkLoad的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
