HBase服务端配置优化策略

影响HBASE性能的几个因素

  • JVM内存分配与GC回收策略
  • 与HBASE运行机制相关的部分配置不合理
  • 表结构设计及用户使用方式不合理

HBASE影响性能的几个操作

  • compact 操作
    当HBASE写入时当memstore达到一定的大小会flush到磁盘保存成HFile,当HFile小文件太多的时候回执行compact操作进行合并
  • split操作
    当Region的大小达到一定阈值之后,回字形split操作

以上这两个操作在执行的时候回影响HBASE的读写性能

compact操作的几种类型

  • minor compaction 选取一些小的相邻的StoreFile将他们合并成一个大的StoreFile
  • major compaction 将所有的StoreFile合并成一个StoreFile,清理无意义的数据:被删除的数据,TTL过期数据、版本号超过设定版本号的数据

何时HBASE会执行compact操作

  • MemStore被flush到磁盘
  • 用户执行shell命令compact,major_compact或者调用了相应的API
  • HBase后台线程周期性的触发检查

####何时HBase会执行split操作
当一个region达到一定的大小后会自动执行split成两个region

几个与Hbase性能调优有关的参数设置



我们不允许Hbase自动执行compact和split操作,因为其会消耗大量的资源,建议设为手动。

-------------End Of This ArticleThank You For Reading-------------