Ubuntu安装eclipse,编写mapreduce,免编译hadoop-eclipse插件
原地址:http://blog.csdn.net/coolcgp/article/details/43448135,做一些更改和补充
第一,Ubuntu软件中心安装eclipse
第二,将hadoop-eclipse-plugin-1.2.1.jar复制到eclipse安装目录下的插件目录/usr/lib/eclipse/plugins下(如果不知道eclipse的安装目录,终端输入whereis eclipse查找. )如果默认安装,直接输入下一条命令:
sudo cp hadoop-eclipse-plugin-1.2.1.jar /usr/lib/eclipse/plugins
补充:hadoop-eclipse-plugin-1.2.1.jar使用编译好的,
下载地址:http://download.csdn.net/detail/poisonchry/7412615
第三,启动eclipse,打开Map/Reduce视图
1.选择Window-->Preference
2.选择Hadoop Map/Reduce
3.输入hadoop的安装路径
第四,通过eclipse管理HDFS
1.Window-->Show View -->Other -->MapReduce Tools 中打开Map/Reduce Locations
2.在Map/Reduce视图下,右键新建-->New Hadoop Location
(在Map/Reduce Locations中新建一个Hadoop Location。在这个View中,右键-->New Hadoop Location。在弹出的对话框中你需要配置Location name,如myubuntu,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。如: )
3.管理HDFS
首先打开MapReduce视图
Window -> Open Perspective -> Other 选择Map/Reduce,图标是个蓝色的象。
配置完后退出。点击DFS Locations-->myubuntu如果能显示文件夹(2)说明配置正确,如果显示"拒绝连接",请检查你的配置(我的配置完成之后只看到了一个文件夹tmp,不知道是什么原因)。
第五,新建MapReduce项目
第六,输入HDFS上的输入文件夹和输出文件夹(中间有空格)
注意输入输出地址,是服务器格式化hdfs文件系统中的input和output文件夹,
我的输入和输出地址为hdfs://192.168.83.51:9000/user/hadoop/input hdfs://192.168.83.51:9000/user/hadoop/output2
注意实现要通过 hadoop fs -mkdir input,hadoop fs -mkdir output2定义该文件夹
第七,点击右下角“run”
注:同一个MapReduce程序,要测试几遍,要删除“目标文件夹”,不然运行程序时,会重新建立目标文件夹,产生结果文件夹已生成的错误。删除output之后(以上文的例子为例),再运行即可。
郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。