Hadoop-2.4.1 ubuntu集群安装配置教程

一．环境

系统： Ubuntu 14.04 32bit

Hadoop版本： Hadoop 2.4.1 (stable)

JDK版本： 1.7

集群数量：3台

注意事项：我们从Apache官方网站下载的Hadoop2.4.1是linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译。

二.准备工作

（三台机器都需要进行以下前四步配置）

1.安装ubuntu14.04 32bits

2.创建新用户hadoop并增加管理员权限

输入如下命令（整个hadoop配置最好切换到root权限进行，在ubuntu下使用root必须给root设置密码才可使用：sudo passwd root）：

root@ubuntu:~# sudo adduser hadoop

按照提示输入信息，密码设置为hadoop，回车确定。结束之后系统会自动创建用户主目录，创建用户同名的组。（adduser命令包装了useradd，虽然在别的linux系统下两个命令一样，但在ubuntu下使用useradd时，并没有创建同名的用户主目录。）

让该用户获得管理员权限：

hadoop@ubuntu:~# sudo vim /etc/sudoers

修改文件如下：
# User privilege specification
root ALL=(ALL) ALL
hadoop ALL=(ALL) ALL
保存退出，hadoop用户就拥有了root权限。

3.安装jdk（安装完之后用java -version查看jdk版本）

已经下载好java安装包，根据安装教程进行安装

4.修改机器网络配置

修改机器的hostname为Master，Slave1，Slave2（对应三台机器）：

hadoop@ubuntu:~# sudo vim /etc/hostname

（marco对应为Master，Slave1，Slave2）

三台机器的IP必须固定。修改hosts文件。

hadoop@ubuntu:~# sudo vim /etc/hosts

添加字段：IP hostname

（marco对应为Master，Slave1，Slave2）

完成后重启机器，然后在终端可以看到hostname的变化。

（配置完之后可以互相ping主机名测试是否配置成功）

5.配置SSH无密码登陆

安装ssh（如果系统没有默认安装或者版本过旧使用以下命令，确保三台机器都有ssh服务）

hadoop@Master:~# sudo apt-get install ssh

生成Master的公钥：

hadoop@Master:~# cd ~/.ssh

hadoop@Master:~# ssh-keygen -t rsa # 一直按回车就可以，生成的密钥保存为.ssh/id_rsa

Master 节点需能无密码 ssh 本机，这一步还是在 Master 节点上执行：

hadoop@Master:~# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

（完成后可以用ssh Master验证）

接着将公匙传输到 Slave1（Slave2） 节点：

hadoop@Master:~# scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/

然后在Slave1节点上将ssh公钥保存到相应位置：

hadoop@Slave1:~# cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

最后在Master节点就可以无密码ssh到Slave1（Slave2）了。

三.配置集群/分布式环境

1.下载并解压hadoop-2.4.1.tar.gz文件在/home/hadoop目录下。(在Master下配置，之后再将配置传输到slave节点)

2.修改文件slaves

hadoop@Master:~# cd /home/hadoop/etc/hadoop/

hadoop@Master:~# vim slaves

将原来 localhost 删除，把所有Slave的主机名写上，每行一个。如下：

Slave1

Slave2

3.修改文件core-site.xml

将原来的如下内容

<property>

</property>

改为下面的配置。后面的配置文件的修改类似。

<property>

    <name>fs.defaultFS</name>

    <value>hdfs://Master:9000</value>

</property>

<property>

    <name>hadoop.tmp.dir</name>

    <value>file:/home/hadoop/hadoopInfo/tmp</value>

</property>

（如果启动服务时找不到hadoopInfo/tmp，需手动在三台机器创建该目录）

4.修改hdfs-site.xml

<property>

    <name>dfs.namenode.name.dir</name>

    <value>file:/home/hadoop/hadoopInfo/tmp/dfs/name</value>

</property>

<property>

    <name>dfs.datanode.data.dir</name>

    <value>file:/home/hadoop/hadoopInfo/tmp/dfs/data</value>

</property>

<property>

    <name>dfs.replication</name>

    <value>1</value>

</property>

5.修改文件mapred-site.xml，这个文件不存在，首先需要从模板中复制一份：

hadoop@Master:~# cp mapred-site.xml.template mapred-site.xml 

然后配置修改如下：

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

</property>

6.修改文件yarn-site.xml:

<property>

    <name>yarn.resourcemanager.hostname</name>

    <value>Master</value>

</property>

7.配置好后，将 Master 上的 Hadoop 文件复制到各个节点上(虽然直接采用 scp 复制也可以正确运行，但会有所不同，如符号链接 scp 过去后就有点不一样了。所以先打包再复制比较稳妥)。

hadoop@Master:~# cd /home/hadoop

hadoop@Master:~# sudo tar -zcf ./hadoop-2.4.1.tar.gz ./hadoop-2.4.1

hadoop@Master:~# scp ./hadoop-2.4.1.tar.gz Slave1:/home/hadoop

在Slave1（Slave2）上执行：

hadoop@Slave1:~# sudo tar -zxf ~/hadoop-2.4.1.tar.gz

hadoop@Slave1:~# sudo chown -R hadoop:hadoop /home/hadoop

注意事项：切换 Hadoop 的模式，不管是从集群切换到伪分布式，还是从伪分布式切换到集群，如果遇到无法正常启动的情况，可以删除所涉及节点的临时文件夹，这样虽然之前的数据会被删掉，但能保证集群正确启动。或者可以为集群模式和伪分布式模式设置不同的临时文件夹（未验证）。所以如果集群以前能启动，但后来启动不了，特别是 DataNode 无法启动，不妨试着删除所有节点（包括 Slave 节点）上的 tmp 文件夹，重新执行一次 bin/hdfs namenode -format，再次启动试试。

8.然后在Master节点上就可以启动hadoop了。

hadoop@Master:~# cd /home/hadoop/hadoop-2.4.1

hadoop@Master:~# bin/hdfs namenode -format       # 首次运行需要执行初始化，后面不再需要

hadoop@Master:~# sbin/start-dfs.sh

hadoop@Master:~# sbin/start-yarn.sh

通过命令JPS可以查看各个节点所启动的过程。

可以看到Master节点启动了NameNode、SecondrryNameNode、ResourceManager进程。

Slave节点则启动了DataNode和NodeManager进程。

可以通过http://master:50070/进入hadoop的管理界面。

关闭Hadoop集群也是在Master节点上执行：

hadoop@Master:~# sbin/stop-dfs.sh

hadoop@Master:~# sbin/stop-yarn.sh

四．应用案例：

在官网上有一个hadoop单节点和集群的hadoop job示例，

 http://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html

根据链接里的 Example: WordCount v2.0 部分进行操作