Eclipse搭建hadoop开发环境
1、 软件环境
a) Eclipse
b) 运行中的hadoop集群
2、 eclipse上安装hadoop插件
a) 首先将eclipse Hadoop的插件放置到eclipse/plugins目录下，重启eclipse
b) 如果插件安装成功，打开Windows—Preferences后，在窗口左侧会有Hadoop Map/Reduce选项，点击此选项，在窗口右侧设置Hadoop安装路径。
PS：这个路径是hadoop的路径，eclipse会从这里获取一定的jar包
如图：
c) 配置Map/Reduce Locations，打开Windows—Open Perspective—other—Map/ReduceLocations—OK
如图：
d) 点击新增hadoop
如图：
3、 新建WordCount项目
a) 上传两个文件到hadoop集群里面
b) 分别写Mapper、Reducer、Main，如图所示：
c) 运行WordCountMain.java，Run As-----Run Configurations，然后配置如图：
d) 结果如图：
4、 碰到的错误
a) Windows eclipse配置插件时候，碰到权限不够（org.apache.hadoop.security.AccessControlException），导致不能连接到hadoop，
解决方案：
1、 将windows的账户名和用户组都设置成hadoop启动的账号一样的名字
2、 如果是自己的测试机器，可以关闭dfs的权限检测，在conf/hdfs-site.xml 将dfs.permissions修改成false
b) Exception inthread "main" java.io.IOException: Failed to set permissions of path:\tmp\hadoop-Administrator\mapred\staging\Administrator-519341271\.staging to0700
这个是Windows下文件权限问题，在Linux下可以正常运行，不存在这样的问题。
解决方法是，修改hadoop-1.0.4/src/core/org/apache/hadoop/fs/FileUtil.java里面的checkReturnValue，注释掉即可（有些粗暴，在Window下，可以不用检查）
5、 建议：
在Ubuntu下面运行eclipse
郑重声明：本站内容如果来自互联网及其他传播媒体，其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享，并不代表本站赞同其观点和对其真实性负责，也不构成任何其他建议。
