hadoop工具包+hadoop-eclipse-plugin-2.8.0.jar 附安装使用方法

Hadoop工具包搭配hadoop - eclipse - plugin - 2.8.0.jar，是大数据处理领域的强大组合。它能高效处理海量数据，分布式存储和计算能力超棒。我特别喜欢它与Eclipse集成的功能，之前处理大数据时，代码编写和调试极为繁琐。有了这个插件，在Eclipse里就能方便地开发和调试Hadoop程序，大大提高了工作效率，让大数据开发变得轻松许多。下面就为大家带来安装使用方法。

包含hadoop工具包及eclipse插件
hadoopbin.zip为工具包，解压官方haddop包之后把hadoopbin解压的丢到haddop目录下；
hadoop-eclipse-plugin-2.7.2为hadoop的eclipse插件，将文档拷贝到eclipse\plugins目录下，重启eclipse，在window/preferences 下可见 Hadoop Map/Reduce选项，接着配置远程或本地hadoop路径；
hadoop2.8.0 下测试，可以显示Map/Reduce project，但是在DFS Locations下总提示Error：No FileSystem For Scheme:hdfs

说明：

1) 打开命令行，进入hadoop插件解压后src/contrib/eclipse-plugin目录中；

2) 执行编译命令：ant jar -Dversion=2.7.2 -Declipse.home=D:\desktop\eclipse -Dhadoop.home=D:\desktop\hadoop-2.7.2；

其中Declipse.home为ecipse根目录，Dhadoop.home为hadoop根目录。

3) 等待编译成功，出现如下“BUILD SUCCESSFUL”提示文字，说明编译成功；

编译成功的jar包位于：build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.7.2.jar

添加jar文件

1、将编译后的 build/contrib/eclipse-plugin/hadoop-eclipse-plugin-2.7.2.jar 拷贝到 eclipse/plugins 目录中，重启eclipse；

2、在eclipse菜单中选择 windows → show view → other ，在弹出的对话框中选择“Map/Reduce Locations”，点击确定；

3、在控制台的“Map/Reduce Locations”页签空白处点击右键，选择“New Hadoop location”，填写参数，如下所示：

其中Map/Reduce Master的端口地址该怎么填写，网上大都资料为hadoop1.x的mapred.job.tracker的端口号，但在hadoop2.x中已使用yarn来代替jobtracker，猜测这里填写mapreduce.jobtracker.http.address的端口值50030，也有资料说填写dfs.datanode.ipc.address端口值50020，具体填写何值有待进一步确认。

3、打开 Windows → Hadoop Map/Reduce ，右侧选择hadoop2.6所在路径：D:\desktop\hadoop-2.7.2；

4、打开 Windows → show view → other ，选择“Project Explorer”，可以在 DFS Locations 中看到HDFS的目录结构；

5、新建MapReduce项目，打开 New → Project ，选择“Map/Reduce Project”，输入项目名即可，项目创建后会自动导入hadoop下所需的jar包。