64位Ubuntu14.04安装hadoop2.6.0
浏览数：36 /
时间：2015年06月20日
在前文中，编译hadoop 是我们几乎已经配置好了jdk环境
这一文是在上文的基础上继续配置
1、将编译好的源码中的一些文件复制到我们所下载的hadoop/lib/native下替换掉
主要是因为下载的hadoop文件是在32位系统下编译的，而本人的是64位系统
2、配置ssh无密码登陆
ssh生成密钥有rsa和dsa两种生成方式，默认情况下采用rsa方式。
1. 创建ssh-key，，这里我们采用rsa方式;
ssh-keygen -t rsa -P ""
2. 进入~/.ssh/目录下，将id_rsa.pub追加到authorized_keys授权文件中，开始是没有authorized_keys文件的;
cd ~/.ssh cat id_rsa.pub >> authorized_keys
3. 登录localhost;
ssh localhost
登陆后的信息如下：
Welcome to Ubuntu 14.04.1 LTS (GNU/Linux 3.13.0-32-generic x86_64) * Documentation: https://help.ubuntu.com/ 274 packages can be updated. 118 updates are security updates. Last login: Mon Feb 2 09:54:04 2015 from master
4. 执行退出命令;
exit
3、将hadoop文件夹复制到/usr/local/
4、配置环境变量
sudo gedit ~/.bashrc
在文件尾添加如下代码
export HADOOP_INSTALL=/usr/local/hadoop export PATH=$PATH:$HADOOP_INSTALL/bin export PATH=$PATH:$HADOOP_INSTALL/sbin export HADOOP_MAPRED_HOME=$HADOOP_INSTALL export HADOOP_COMMON_HOME=$HADOOP_INSTALL export HADOOP_HDFS_HOME=$HADOOP_INSTALL export YARN_HOME=$HADOOP_INSTALL export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
执行生效
source ~/.bashrc
5、修改一下配置文件
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
将JAVA_HOME改为/usr/local/eclipse
点击保存退出
6、测试
进入hadoop文件夹目录
执行
bin/hadoop namenode -format
然后新建一个输入目录，执行wordcount程序
mkdir input cp README.txt input
bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount input output
执行 cat output/*，查看字符统计结果
问题
1.ssh中“Host key verification failed.“
/etc/ssh/ssh_config）中配置：
StrictHostKeyChecking no
将ask 改为 no
并取消注释
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
