Hadoop Eclipse 开发环境的构建

1.安装eclipse
  下载的eclipse包直接解压即可。
2.hadoop-eclipse插件的配置
  本文使用的Hadoop为1.2.1版本,网上很多教程说该插件在hadoop-1.2.1/contrib/目录下,但是我发现该目录下并没有该插件,如下:
  技术分享
  查了一下,发现该插件需要自己编译,而该插件的源码在/hadoop-1.2.1/src/contrib/eclipse-plugin/目录下,本文并没有编译,直接在网上下载了一个他人编译好的,具体的编译方法请参考博文http://www.cnblogs.com/alex-blog/p/3160619.html
得到hadoop-eclipse-plugin-1.2.1.jar插件后,我们只需将其移动eclipse安装目录下的plugins目录下即可。
3.eclipse上配置Hadoop环境。
 ① 打开eclipse,选择window->Preferences菜单,选择左侧的Hadoop Map/Reduce,按下图配置hadoop的安装位置。
    技术分享
 ② 选择eclipse中的window->Show View->Other,选择MapReduce Tools下的Map/Reduce Locations,如下图
    技术分享
 ③ 上步操作完成后,会出现如下窗口。
    技术分享
    将鼠标放在浅红色区域,右键选择New Hadoop Location
 ④ 配置Hadoop Location
   技术分享
   其中的Location name随便写,Map/Reduce Master配置与hadoop-1.2.1/conf/mapred-site.xml中的一样,DFS Master的配置与hadoop-1.2.1/conf/core-site.xml一样。
至此,配置工作完成。
5.测试是否配置成功
  我们新建一个project,然后选择Map/Reduce Project,再点击完成时,由于我们是第一次建Map/Reduce工程,会出现如下的窗口,我们选择Yes即可。
  技术分享
  然后,在工程视图窗口,我们看到DFS的文件结构,就说明我们的配置成功了。
  技术分享


在windows下编写hadoop程序时,需要将Linux下的hadoop拷贝到window下,注意配置文件到要完全一样。

错误处理:
技术分享
修改Linux服务器上的hadoop下的hdfs-core.xml文件,将dfs.permissions属性设置为false即可。并重启一下Hadoop。










 

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。