Flume lzo压缩输出至 hadoop
1. Hadoop 支持lzo压缩依赖：
lzo：Unix/linux系统默认没有lzo的 库，因此需要安装，sudo yum install lzo-devel.x86_64
sudo yum install lzo.x86_64 sudo yum install lzop.x86_64
2. 准备maven,ant,gcc 等
3. 编译hadoop-lzo
从https://github.com/twitter/hadoop-lzo 下载，解压进入目录， mvn clean package
在 target 下 hadoop-lzo-0.4.20-SNAPSHOT.jar target/native/Linux-amd64-64/lib 下有 libgplcompression 库
jar包拷贝到hadoop lib目录下， gplcompression库拷贝到lib/native/Linux-amd64-64/lib下
在hadoop客户端或者各个节点，不需要都安装lzo库，可以直接把lzo库拷贝到 hadoop 下的 lib/native/Linux-amd64-64/lib下
总结：编译hadoop-lzo ，lzo-devl库同样不能少。
4. 修改hadoop 客户端配置文件（我们只需要在使用flume的机器上配置）
http://heylinux.com/archives/2078.html
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
