Ubuntu上搭建hadoop环境+eclipse设置
我的版本:
Ubuntu 12.04
Hadoop 1.2.1
参考链接:http://blog.csdn.net/hitwengqi/article/details/8008203
按照上面链接安装,不过可以不建立新的用户,直接用安装Ubuntu的用户就可以,而且直接就是属于管理员组。
单机模式很顺利,在配置伪分布模式的时候出现了一个问题:启动Hadoop之后,用jps命令验证发现启动项总是少一个,DataNode没有。之后从网上查修正方法,失败理由各种各样,但那么多种方案都没有效果。后来跟一大神问,大神不愧大神,虽然没有装过Hadoop,但是搜索方法的能力绝对一流,我按照人家给发的链接的方法,一下就了。不过当时在webqq,已经找不到那个链接地址了。方法如下:
先关闭所有启动项: /usr/hadoop/bin$ stop-all.sh
然后删除三个文件夹:
core-site.xml文件里
hadooptmp.dir对应的文件夹:/usr/hadoop/tmp 和 /usr/hadoop/logs
hdfs-site.xml文件里
dfs.data.dir对应的文件夹:/usr/hadoop/hdfs/data
再按照链接里的方法进行一次格式化HDFS。
可以在格式化HDFS的时候,写过命令 hadoop namenode -format 之后,手动删除上面说的三个文件夹, 然后再启动hadoop,这样就不会出现最开始的问题了。
为了以后每次启动Hadoop(start-all.sh)能直接用,要将其目录加入到系统环境变量里,在 ~/hadoop/conf/hadoop-env.sh 添加的内容复制到 ~/.bashrc 或者 /etc/profile 里,重启终端就好。
添加内容如下:
JAVA_HOME=/usr/lib/jvm/java-6-openjdk-i386
HADOOP_HOME=/home/kxxie/hadoop
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$HADOOP_HOME/lib/*
export JAVA_HOME
export JRE_HOME=/usr/lib/jvm/java-6-openjdk-i386/jre
export PATH
export CLASSPATH
这样每次启动Hadoop的时候,只需要在终端命令:start-all.sh,用jps命令检查有六个启动项即为成功。
接下来就是配置Eclipse:
参考链接:http://www.cnblogs.com/linjiqin/archive/2013/06/21/3147902.html
没有什么问题,按照教程里的步骤一步一步来,需要填的内容要对应自己的Hadoop配置的各项IP就好。但是每次启动eclipse都麻烦,可以将eclipse加入到系统环境变量,但是在终端启动的时候貌似需要一
直开着一个终端,嗯,强迫症又犯了,于是我是在桌面上建立了一个快捷方式。
参考链接:http://www.cppblog.com/kangnixi/archive/2010/07/12/120105.aspx
好了!开始学习MapReduce,哦耶(*^__^*)
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。