64位Ubuntu14.04安装hadoop2.6.0

在前文中,编译hadoop 是我们几乎已经配置好了jdk环境

这一文是在上文的基础上继续配置

1、将编译好的源码中的一些文件复制到我们所下载的hadoop/lib/native下替换掉

主要是因为下载的hadoop文件是在32位系统下编译的,而本人的是64位系统

2、配置ssh无密码登陆

ssh生成密钥有rsa和dsa两种生成方式,默认情况下采用rsa方式。

1. 创建ssh-key,,这里我们采用rsa方式;

ssh-keygen -t rsa -P ""

2. 进入~/.ssh/目录下,将id_rsa.pub追加到authorized_keys授权文件中,开始是没有authorized_keys文件的;

cd ~/.ssh  
cat id_rsa.pub >> authorized_keys

3. 登录localhost;

ssh localhost

登陆后的信息如下:

Welcome to Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64)

 * Documentation:  https://help.ubuntu.com/

274 packages can be updated.
118 updates are security updates.

Last login: Mon Feb  2 09:54:04 2015 from master

4. 执行退出命令;

exit 

3、将hadoop文件夹复制到/usr/local/

4、配置环境变量

sudo gedit ~/.bashrc

在文件尾添加如下代码

export HADOOP_INSTALL=/usr/local/hadoop  
  
export PATH=$PATH:$HADOOP_INSTALL/bin  
  
export PATH=$PATH:$HADOOP_INSTALL/sbin  
  
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL  
  
export HADOOP_COMMON_HOME=$HADOOP_INSTALL  
  
export HADOOP_HDFS_HOME=$HADOOP_INSTALL  
  
export YARN_HOME=$HADOOP_INSTALL  
  
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native  
  
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"  

执行生效

source ~/.bashrc  

5、修改一下配置文件

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

将JAVA_HOME改为/usr/local/eclipse

点击保存退出

6、测试

进入hadoop文件夹目录

执行

bin/hadoop namenode -format

然后新建一个输入目录,执行wordcount程序

mkdir input  
cp README.txt input
 bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output  

执行 cat output/*,查看字符统计结果

 

问题

1.ssh中“Host key verification failed.“

/etc/ssh/ssh_config)中配置:

StrictHostKeyChecking no

将ask 改为 no

并取消注释

 

 

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。