Ubuntu14.0上编译安装Hadoop

环境：

hadoop-2.5.0.tar

hadoop-2.5.0-src.tar

jdk-7u71-linux-x64

protobuf-2.5.0.tar 

Maven3.0

安装步骤：

1 安装jdk ，配置环境变量

2 安装依赖包

3 安装maven

4安装protobuf-2.5.0.tar

5 编译Hadoop

6 安装hadoop

6.1 单机模式

6.2 伪分布模式

6.3 集群模式

1 安装jdk ，配置环境变量

下载jdk版本：jdk-7u71-linux-x64.gz默认下载放在Download目录下：

进入Download目录；

• 1解压jdk安装包到指定目录

 sudo tar zxvf jdk-7u67-linux-x64.gz -C /usr/

默认把jdk放在、usr这个目录下

• 进入该目录下 重命名jdk，这一步给jdk重命名 如： jdk-1.7

sudo mv jdk-7u71-linux-x64.tar.gz jdk-1.7

• 配置环境变量

使用vim ~/.bashrc命令编辑  （vi下删除是x   vim 下删除时退格键）可能需要安装vim : sudo apt-get install vim

在底部加入以下命令：

#set Java Environment

export JAVA_HOME=/usr/jdk-1.7  

export JRE_HOME=${JAVA_HOME}/jre   

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib   

export PATH=${JAVA_HOME}/bin:$PATH 

• 使用命令：source ~/.bashrc

.

 将系统默认的jdk修改过来

sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8.0_05/bin/java 300

sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.8.0_05/bin/javac 300

sudo update-alternatives --config java 

sudo update-alternatives --config javac

来源： <http://blog.sina.com.cn/s/blog_675e4f240102uwim.html>

• 验证 在终端输入java 出现下面字段表示安装成功

2 安装依赖包

2.1 

sudo apt-get install g++ autoconf automake libtool make cmake zlib1g-dev pkg-config libssl-dev 

2.2因为还要用到ssh，所以如果机器上没有的话，装个openssh的客户端就好啦 (ubuntu 12.04应该预装了) 

$ sudo apt-get install openssh-client

装server

$ sudo apt-get install openssh-server  

3 安装maven

sudo apt-get install maven 

测试：mvn --version

4 安装protobuf-2.5.0.tar

这个试了网上的很多方法：如

ar -xzf protobuf-2.1.0.tar.gz 

 cd protobuf-2.1.0 

 ./configure --prefix=/usr/local/protobuf

 make 

 make check 

 make install 

  但是最后都安装失败，最终用apt-get命令安装成功

 安装Google ProtocolBuffer

 $ sudo apt-get install protobuf-compiler

   装完后确认版本是否满足安装指南BUILDING.txt里所指定的2.5.0版本的要求。

   卸载 $ sudo apt-get remove protobuf-compiler

（在ubuntu12.04 server下装的这个软件包是2.4.1的， 某T同学在ubuntu 14.04 desktop下通过apt-get装的是2.5.0)

于是在ubuntu12.04 server下仍旧要去google code 找源码包编译。

来源： <https://www.evernote.com/shard/s341/sh/2e7bcfe5-0d1a-4faa-8be1-6b25304c4a77/a854b4141e743da683c5f8d386fd635d?content=>

5 编译Hadoop

 最后（可能多次进入这个“最后”），cd 进 hadoop的源码根目录，查看 BUILDING.txt， 如果不习惯可以在宿主机用浏览器进hadoop的github里直接查看该文件的第165行到第167行，并了解一下maven生命周期之类的。

在hadoop源码的根目录执行

(若由于各种原因出错回到这一步，请先 $ mvn clean)

$ mvn package -Pdist,native -DskipTests -Dtar (这里我省略了src和doc)

11. 最后如果看到了这样的信息，就算Build完了， - -# 累。

[INFO]-------------------------

[INFO] BUILD SUCCESS

[INFO]-------------------------

[INFO] Total time: xx:xx min 

(我的linux mint编译了27min，虚拟机上的ubuntu12编译了42min，求碾压级超越）

12. 编译的结果在源码根目录的hadoop-dist/target/里，在该目录下执行

$ hadoop-2.5.1/bin/hadoop version

可以看到hadoop版本信息和编译信息。

target 目录里枝繁叶茂，嫌cd繁琐的又懂简单使用vim者（知道hjkl和:q ），建议安装字符界面的目录浏览器ranger

$ sudo apt-get install ranger

使用方法很简单

$ ranger [目录名] （如果不打，就默认是当前目录）