HBase使用压缩存储（snappy）
浏览数：32 /
时间：2015年06月11日
在将mysql数据导入到hbase数据的过程中，发现hbase的数据容量增加很快，
原本在mysql存储30G容量的数据导入到hbase一直增加到快150G（还未完全导入，手动结束），
而采用默认3个备份储存的话，基本上真个集群有450G的容量。
查看了一些资料，发现hbase的储存确实耗空间，一般hbase采用压缩算法来解决，其中snappy
的算法收到Google的推崇，而且CDH中，直接安装了snappy的库，所以直接用了。
hbase> disable ‘test‘
hbase> alter ‘test‘, {NAME => ‘cf‘, COMPRESSION => ‘SNAPPY‘}
hbase> enable ‘test‘
使用后，没有立即生效，按照一些资料执行major_compact命令后，也没有发现生效，
但是过了一段时间以后发现表的容量变化了，压缩前原本150G，压缩后15G左右（查资料压缩率最好效果22%左右，这个还没有大量测试）
效果还比较明显。郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
