Hadoop,HBase,Zookeeper源码编译并导入eclipse

基本理念:尽可能的参考官方英文文档

Hadoop:  http://wiki.apache.org/hadoop/FrontPage

HBase:  http://hbase.apache.org/book.html  

Zookeeper:  https://cwiki.apache.org/confluence/display/ZOOKEEPER/Index

环境介绍

Ubuntu 14.04LTS, 32位

接下来则按照Hadoop,HBase,Zookeeper顺序来进行源码编译,建立文件夹~/code用于存放源码

 

Hadoop

首先去Apache Hadoop官网下载源码,作者下载的是2.6.0版本,即hadoop-2.6.0-src.tar.gz

然后解压,并改下文件夹名(为了方便。。。)

$ tar -zxvf hadoop-2.6.0-src.tar.gz
$ mv hadoop-2.6.0 hadoop

在进行编译前,有一些软件包是需要必须安装的,查看Hadoop官方文档,必备软件如下:

1、JDK. 推荐orcale JDK 7,或者系统自带的OpenJDK

2、ProtocolBuffer 2.5.0,这个需要用源码安装,命令有./configur, make && make install. 注意使用protoc --version查看版本

3、Apache Maven版本3或以上,使用apt-get install即可

4、为了创建native libraries,还需要LZO headers,zlib headers, gcc, OpenSSL headers, cmake, protobuf dev tools, and libtool, and the GNU autotools (automake, autoconf, etc).

$ apt-get -y install maven build-essential autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev libfuse-dev

在有了上面的准备之后,便可以编译Hadoop源码并导入eclipse了

首先需要安装hadoop-maven-plugins

$ cd hadoop-maven-plugins
$ mvn install

然后回到hadoop解压后的源码目录,生成eclipse需要的工程文件

$ mvn eclipse:eclipse -DskipTests

最后打开eclipse,[File]->[Import]->[General]->[Existing Projects into Workspace],选择hadoop解压后的根目录,导入

导入时注意由于hadoop下面子工程较多,可以选择自己感兴趣的工程进行导入,如hadoop-common,hadoop-hdfs,hadoop-yarn-common

 

HBase

同样HBase也得先去官方下载源码,作者下载的是0.94.11,即hbase-0.94.11.tar.gz,解压并更改文件夹名

$ tar -zxvf hbase-0.94.11.tar.gz
$ mv hbase-0.94.11 hbase 

参考HBase官方文档进行操作,进入hbase目录,首先进行Build,然后生成eclipse所需的工程文件

$ mvn clean install -DskipTests
$ mvn eclipse:eclipse 

最后打开eclipse,[File]->[Import]->[General]->[Existing Projects into Workspace],选择hbase解压后的根目录,导入

 

Zookeeper

作者下载的版本为3.4.6,即zookeeper-3.4.6.tar.gz,解压并更改文件夹名

$ tar -zxvf zookeeper-3.4.6.tar.gz
$ mv zookeeper-3.4.6 zookeeper

由于zookeeper需要使用ant进行编译,所以进入zookeeper目录后使用如下命令生成eclipse所需的工程文件

$ ant eclipse

打开eclipse,[File]->[Import]->[General]->[Existing Projects into Workspace],选择zookeeper解压后的根目录,导入

 

至此,便可以使用eclipse来学习Hadoop,HBase,Zookeeper的源码了

需要说明的是作者下载的均不是各个项目的最新版代码,可使用如下命令获取源码

$ git clone git://git.apache.org/hadoop.git
$ git clone git://git.apache.org/hbase.git
$ git clone git://git.apache.org/zookeeper.git

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。