eclipse开发hadoop2.2.0程序

浏览数：63 / 时间：2015年06月20日

在 Eclipse 环境下可以方便地进行 Hadoop 并行程序的开发和调试。前提是安装hadoop-eclipse-plugin，利用这个 plugin, 可以在 Eclipse 中创建一个 Hadoop MapReduce 应用程序，并且提供了一些基于 MapReduce 框架的类开发的向导，可以打包成 JAR 文件，部署一个 Hadoop MapReduce 应用程序到一个 Hadoop 服务器(本地和远程均可)，可以通过一个专门的视图 ( perspective ) 查看 Hadoop 服务器、Hadoop 分布式文件系统（ DFS ）和当前运行的任务的状态。

但hadoop2.2.0未提供该插件的二进制安装包，需要自己编译源码生成。

1、编译hadoop-eclipse-plugin

源码下载地址：https://github.com/winghc/hadoop2x-eclipse-plugin

1.1 编译前需要先安装Ant，

wget http://apache.dataguru.cn//ant/binaries/apache-ant-1.9.3-bin.tar.gz

tar -zxvf apache-ant-1.9.3-bin.tar.gz

mv apache-ant-1.9.3 ant1.9.3

vi /etc/profile

export ANT_HOME=/home/hadoop/ant1.9.3
export PATH=$PATH:$ANT_HOME/bin

source /etc/profile

ant -version

1.2 编译

cd {ANT_HOME}/src/contrib/eclipse-plugin

ant jar -Dversion=2.2.0 -Declipse.home=/home/hadoop/eclipse -Dhadoop.home=/home/hadoop/hadoop2.2

上述命令中的两个路径分别是eclipse和hadoop的安装根目录，根据自己的实际情况输入。

编译过程中ivy要下载很多包，如果网络不是很好，请耐心等待。

编译成功后会在{ANT_HOME}/build/contrib/eclipse-plugin下生成hadoop-eclipse-plugin-2.2.0.jar包，将其拷贝到Eclipse的dropins目录下，重启Eclipse即可看到该插件已生效。

2、配置插件

2.1 打开Window-->Preferens，你会发现Hadoop Map/Reduce选项，在这个选项里你需要配置Hadoop installation directory。

其中的“hadoop installation directory”配置项用于指向你的hadoop安装目录(在windows下只需要把linux上编译好的Hadoop2.2.0拷贝到某个位置，然后指向这个位置即可)。

2.2 通过Window->Show View中打开Map/Reduce Locations，右键-->New Hadoop Location。

在弹出的对话框中你需要配置Location name，还有Map/Reduce Master和DFS Master。如图：

这里面的Host、Port分别为你在core-site.xml中配置的地址及端口。

2.3 通过Window->Open Perspective菜单打开Map Reduce视图，如下：

如果点击DFS Locations-->LocalHadoop如果能显示文件夹(*)说明配置正确，*表示包含的文件夹个数。

3、新建项目

File-->New-->Other-->Map/Reduce Project ，

上一篇文章中我们测试的WordCount程序的源码可在以下目录中找到，

hadoop-2.2.0-src/hadoop-mapreduce-project/hadoop-mapreduce-examples/src/main/java/org/apache/hadoop/examples/

将WordCount.java添加到项目中。

测试数据继续使用上一篇构建的数据。

4、运行项目

右键-->Run As-->Run Configurations

在弹出的Run Configurations对话框中，点Java Application，右键-->New，这时会新建一个application名为WordCount

配置运行参数，点Arguments，在Program arguments中输入“你要传给程序的输入文件夹和你要求程序将计算结果保存的文件夹”

hdfs://192.168.20.50:8020/input hdfs://192.168.20.50：8020/output

点击运行。

注意：需要配置log4j才能看到日志。

windows下会抛出以下异常：

Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

原因是因为hadoop2.2没有发布winutils.exe造成的，如果嫌麻烦，可在linux开发，以下是linux下运行的结果。

查看结果：