1.安装eclipse
下载的eclipse包直接解压即可。
2.hadoop-eclipse插件的配置
本文使用的Hadoop为1.2.1版本,网上很多教程说该插件在hadoop-1.2.1/contrib/目录下,但是我发现该目录下并没有该插件,如下:
得到hadoop-eclipse-plugin-1.2.1.jar插件后,我们只需将其移动eclipse安装目录下的plugins目录下即可。
3.eclipse上配置Hadoop环境。
① 打开eclipse,选择window->Preferences菜单,选择左侧的Hadoop Map/Reduce,按下图配置hadoop的安装位置。
② 选择eclipse中的window->Show View->Other,选择MapReduce Tools下的Map/Reduce Locations,如下图
③ 上步操作完成后,会出现如下窗口。
将鼠标放在浅红色区域,右键选择New Hadoop Location
④ 配置Hadoop Location
其中的Location name随便写,Map/Reduce Master配置与hadoop-1.2.1/conf/mapred-site.xml中的一样,DFS Master的配置与hadoop-1.2.1/conf/core-site.xml一样。
至此,配置工作完成。
5.测试是否配置成功
我们新建一个project,然后选择Map/Reduce Project,再点击完成时,由于我们是第一次建Map/Reduce工程,会出现如下的窗口,我们选择Yes即可。
然后,在工程视图窗口,我们看到DFS的文件结构,就说明我们的配置成功了。
在windows下编写hadoop程序时,需要将Linux下的hadoop拷贝到window下,注意配置文件到要完全一样。
错误处理:
修改Linux服务器上的hadoop下的hdfs-core.xml文件,将dfs.permissions属性设置为false即可。并重启一下Hadoop。