Hadoop（MapReduce）Windows和Linux开发环境搭建（eclipse和idea）__hadoop windows开发环境搭建

hadoop安装配置

（1）解压

将hadoop-2.7.3.tar.gz解压到指定目录，例如：E:\hadoop-2.7.3。

（2）拷贝

将bin目录下所有文件拷贝到hadoop-2.7.3\bin目录下（有重复的就替换），bin目录东西只是为了让Hadoop支持Windows，否则，实际开发中的，会出现如下跟系统相关的问题：

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Native Method)
at org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode(NativeIO.java:524)

拷贝完以后，还需要将hadoop.dll这个文件拷贝到C:\Windows\System32目录下。如果这样配置后，运行MapReduce程序，还出现问题，请单独百度，或者将问题粘到底部评论区。

（3）配置环境变量

HADOOP_HOME=E:\hadoop-2.7.3

HADOOP_USER_NAME=root

在path变量最后添加%HADOOP_HOME%\bin

注意每个path之间需要用分号隔开，其中HADOOP_USER_NAME解决权限问题。

eclipse配置

（1）将hadoop-eclipse-plugin-2.7.3.jar插件拷贝到eclipse安装目录下的plugins的目录中。重启eclipse后，打开Windows-->Preferences，如图：

正确配置Hadoop安装目录。

（2）点击eclipse右上角的田字格，选择Map/Reduce，如图：

此时在eclipse左边Project Explorer最上面出现DFS Locations，如图：

（3）配置Hadoop location

点击右下角小象，如图：

配置好后，可以看到HDFS的目录，如图：

这里有个问题记录下：

在DFS Locations下竟然可以创建同名的小象，而且删除其中一个，刷新后没变化，重启了eclipse才被删除。

hadoop天生对Linux支持，建议使用Linux环境开发。

Linux

eclipse

（1）eclipse： eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz ；

（2）hadoop：hadoop-2.7.3.tar.gz；

（3）eclipse插件：hadoop-eclipse-plugin-2.7.3.jar；

hadoop安装配置

（1）解压

在hadoop-2.7.3.tar.gz目录下执行

tar -zxvf hadoop-2.7.3.tar.gz -C /root/bigdata/

命令，将其解压到指定目录。

（2）配置环境变量

vi ~/.bash_profile打开配置文件，在文件最后添加：

export HADOOP_HOME=/root/bigdata/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$PATH

关于HADOOP_USER_NAME=root根据情况而定。

eclipse安装配置

（1）安装eclipse

执行如下命令

tar -zxvf eclipse-jee-oxygen-3a-linux-gtk-x86_64.tar.gz -C /root/bigdata/

，将eclipse安装到bigdata目录下。

（2）拷贝

将hadoop-eclipse-plugin-2.7.3.jar插件拷贝到eclipse安装目录下的plugins的目录中。重启eclipse后，打开Windows-->Preferences，嗯？没看到小象，太坑了。点击Windows-->Show view-->Other-->General，打开Error Logs，如图：

发现加载插件时一堆错误日志。后来将插件放入同级的dropins目录下重启eclipse后，竟然意外发现小象了，真是坑。如图：

（3）配置Hadoop location

这里就和Windows中相同了。如图：

Host配置的都是localhost和主机名，因为Hadoop集群就在本机，如在其他机器，改成IP地址即可。成功连接后，可以看到HDFS文件，如图：