最近实习了,公司做大数据的,要学hadoop,在公司自己把什么都弄好了,因为回来了想自学,

所以想自己虚拟机搭个伪分布式环境,然后自学用,一切都准备好后,eclipse下也已经安装了

hadoop的插件,wordCount也写好了,运行的时候就报了

org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V

错误,这都是上周末的事情了,然后我嫌烦没有解决,反正当时也不急用,这周继续解决问题,

耗了好久好久时间。

我的环境是

Win10 + hadoop2.7.3 + jdk1.8。

本来在公司使用eclipse写mapreduce程序的时候已经遇到这个问题,当时的确也通过把hadoop.dll

和winutils放到hadoop的bin目录下。然后问题解决了,但是在自己电脑上依然这样做,什么方法都

试了都不行。

hadoop.dll 和 winutils 以及 修改了NativeIO.java (网上常见的方法)全试了,依旧提示这个错误。

解决方案:

1.首先把对应版本的hadoop.dll 和 winutils放到hadoop安装目录的bin目录下。

因为后来版本的hadoop的确缺少了这两个文件。

2.环境变量的配置,这个不多说。

3.比如我写了一个wordcount,运行时一直报这个错误,把下面代码放到wordcount的驱动程序中。

static {
    try {
    	System.load("D:/Hadoop/hadoop-2.7.3/bin/hadoop.dll");
    } catch (UnsatisfiedLinkError e) {
      System.err.println("Native code library failed to load.\n" + e);
      System.exit(1);

意思就是让其强制加载bin目录下的hadoop.dll。然后运行程序问题就解决了。

4.把加入的代码删除即可,不再报错。

hadoop.dll ,winutils 以及 hadoop2.7.3的eclipse插件下载地址:

https://pan.baidu.com/s/1Lz0Ah2QklzgsNVnLXPRcYw

提取码:0yz8

以上方案亲测有效。

org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V错误解决方案 最近实习了,公司做大数据的,要学hadoop,在公司自己把什么都弄好了,因为回来了想自学,所以想自己虚拟机搭个伪分布式环境,然后自学用,一切都准备好后,eclipse下也已经安装了hadoop的插件,wordCount也写好了,运行的时候就报了org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(...
环境:Windows10 + JDK1.8 +Hadoop2.7.2 错误org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V 1)把对应版本的hadoop.dll 和 winutils放到hadoop安装目录的bin目录下 2)环境变量的配置 3)把下面代码放到wordcount的驱动程序中 static { try { System.lo.
idea运行spark项目报错:org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0
把我们环境变量的hadoop(我的版本是这个hadoop-2.6.0-cdh5.15.1,不是相同版本慎用)的bin 覆盖成某位大佬的就OK了 链接:https://pan.baidu.com/s/1unKAA54Gf_sbCOm-pLMdWQ 提取码:oy2p Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V at org.apache.hadoop.io.nativeio.NativeIO$...
##解决:在根路径下创建类 \org\apache\hadoop\io\nativeio\NativeIO.java ##用此类替换默认源码中的类即可(只需创建类) Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTI...
文章目录1 错误描述2 原因分析3 解决方案 1 错误描述 本机windows系统,hadoop3.2.2版本。在运行MapReduce任务的时候报“org.apache.hadoop.io.nativeio.NativeIOException: 当文件已存在时,无法创建该文件”错误,但是该错误不影响MR任务的执行结果。 2 原因分析 直接根据log信息,发现抛出异常的位置在RawLocalFileSystem类的mkOneDirWithMode方法中。且这里可以看到异常信息与控制台的异常信息相符。
在本地运行mr程序出现org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V 查了下原因是因为本机的hadoop.dll文件和maven项目中导入的hadoop版本不匹配导致的问题,换成相同的版本就解决啦~ 记录一下问题~
hadoop运行报错org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0 在尝试了网上所有方法之后还是报这个错,最后尝试了这个方法,一遍成功:hadoop-2.6.0-cdh5.15.1\bin目录里的文件换成3.0版本的。 1.安装和服务器对应版本的Hadoop,并配置环境变量; 2.将bin文件夹...
问题1:java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMo 背景:在Linux服务器上配置好hadoop,对HDFS进行命令行操作正确,运行wordcount Demo正常,但在window上使用Java api进行HDFS测试的时候报错。
编号001(这一行为我自己为了方便起的标识,你们可以忽略……) 最近编写了一个mapreduce程序,在eclipse中执行发现出现这个问题,百度各种方案都不行,花了好久才解决,现在把最近看过和亲测过的方案整理如下,希望能让别人早日出坑。 前提条件: Hadoop集群(hadoop2.7.3) Java编译环境(jdk1.8) 操作系统:win7 IDE:eclipse hadoop插件 下载...
报错信息如下: Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.Nativ
最近编写了一个mapreduce程序,在IDEA中执行发现出现这个问题,百度各种方案都不行,花了好久才解决,现在把最近看过和亲测过的方案整理如下,希望能让别人早日出坑。报错信息如下: 19/08/27 10:36:57 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOEx...
Windows下的 Eclipse上调试Hadoop2代码,所以我们在windows下的Eclipse配置hadoop-eclipse-plugin-2.6.0.jar插件,并在运行Hadoop代码时出现了一系列的问题,搞了好几天终于能运行起代码。接下来我们来看看问题并怎么解决,提供给跟我同样遇到的问题作为参考。 Hadoop2的WordCount.java统计代码如下: import java.io.IOException; import java.util.StringTokenizer;
eclipse运行mapereduce程序时报如下错误: log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properly. log4j:WAR...
org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V错误解决方案