最近实习了,公司做大数据的,要学hadoop,在公司自己把什么都弄好了,因为回来了想自学,
所以想自己虚拟机搭个伪分布式环境,然后自学用,一切都准备好后,eclipse下也已经安装了
hadoop的插件,wordCount也写好了,运行的时候就报了
org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
错误,这都是上周末的事情了,然后我嫌烦没有解决,反正当时也不急用,这周继续解决问题,
耗了好久好久时间。
我的环境是
Win10 + hadoop2.7.3 + jdk1.8。
本来在公司使用eclipse写mapreduce程序的时候已经遇到这个问题,当时的确也通过把hadoop.dll
和winutils放到hadoop的bin目录下。然后问题解决了,但是在自己电脑上依然这样做,什么方法都
试了都不行。
hadoop.dll 和 winutils 以及 修改了NativeIO.java (网上常见的方法)全试了,依旧提示这个错误。
解决方案:
1.首先把对应版本的hadoop.dll 和 winutils放到hadoop安装目录的bin目录下。
因为后来版本的hadoop的确缺少了这两个文件。
2.环境变量的配置,这个不多说。
3.比如我写了一个wordcount,运行时一直报这个错误,把下面代码放到wordcount的驱动程序中。
static {
try {
System.load("D:/Hadoop/hadoop-2.7.3/bin/hadoop.dll");
} catch (UnsatisfiedLinkError e) {
System.err.println("Native code library failed to load.\n" + e);
System.exit(1);
意思就是让其强制加载bin目录下的hadoop.dll。然后运行程序问题就解决了。
4.把加入的代码删除即可,不再报错。
hadoop.dll ,winutils 以及 hadoop2.7.3的eclipse插件下载地址:
https://pan.baidu.com/s/1Lz0Ah2QklzgsNVnLXPRcYw
提取码:0yz8
以上方案亲测有效。
org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V错误解决方案
最近实习了,公司做大数据的,要学hadoop,在公司自己把什么都弄好了,因为回来了想自学,所以想自己虚拟机搭个伪分布式环境,然后自学用,一切都准备好后,eclipse下也已经安装了hadoop的插件,wordCount也写好了,运行的时候就报了org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(...
环境:Windows10 + JDK1.8 +Hadoop2.7.2
错误:org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
1)把对应版本的hadoop.dll 和 winutils放到hadoop安装目录的bin目录下
2)环境变量的配置
3)把下面代码放到wordcount的驱动程序中
static {
try {
System.lo.
idea运行spark项目报错:org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0
把我们环境变量的hadoop(我的版本是这个hadoop-2.6.0-cdh5.15.1,不是相同版本慎用)的bin 覆盖成某位大佬的就OK了
链接:https://pan.baidu.com/s/1unKAA54Gf_sbCOm-pLMdWQ
提取码:oy2p
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V
at org.apache.hadoop.io.nativeio.NativeIO$...
##解决:在根路径下创建类 \org\apache\hadoop\io\nativeio\NativeIO.java
##用此类替换默认源码中的类即可(只需创建类)
Licensed to the Apache Software Foundation (ASF) under one
or more contributor license agreements. See the NOTI...
文章目录1
错误描述2 原因分析3
解决方案
1
错误描述
本机
windows系统,
hadoop3.2.2版本。在运行MapReduce任务的时候报“
org.
apache.
hadoop.
io.
nativeio.
NativeIOExcept
ion: 当文件已存在时,无法创建该文件”
错误,但是该
错误不影响MR任务的执行结果。
2 原因分析
直接根据log信息,发现抛出异常的位置在RawLocalFileSystem类的mkOneDirWith
Mode方法中。且这里可以看到异常信息与控制台的异常信息相符。
在本地运行mr程序出现
org.
apache.
hadoop.
io.
nativeio.
NativeIO$
Windows.
createDirectoryWith
Mode0(L
java/
lang/
String;I)V
查了下原因是因为本机的
hadoop.dll文件和maven项目中导入的
hadoop版本不匹配导致的问题,换成相同的版本就解决啦~ 记录一下问题~
hadoop运行报错org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0
在尝试了网上所有方法之后还是报这个错,最后尝试了这个方法,一遍成功:hadoop-2.6.0-cdh5.15.1\bin目录里的文件换成3.0版本的。
1.安装和服务器对应版本的Hadoop,并配置环境变量;
2.将bin文件夹...
问题1:
java.
lang.UnsatisfiedLink
Error:
org.
apache.
hadoop.
io.
nativeio.
NativeIO$
Windows.
createDirectoryWithMo
背景:在Linux服务器上配置好
hadoop,对HDFS进行命令行操作正确,运行wordcount Demo正常,但在window上使用
Java api进行HDFS测试的时候报错。
编号001(这一行为我自己为了方便起的标识,你们可以忽略……)
最近编写了一个mapreduce程序,在eclipse中执行发现出现这个问题,百度各种方案都不行,花了好久才解决,现在把最近看过和亲测过的方案整理如下,希望能让别人早日出坑。
前提条件:
Hadoop集群(hadoop2.7.3)
Java编译环境(jdk1.8)
操作系统:win7
IDE:eclipse
hadoop插件
下载...
报错信息如下:
Except
ion in thread "main"
java.
lang.UnsatisfiedLink
Error:
org.
apache.
hadoop.
io.
nativeio.
NativeIO$
Windows.access0(L
java/
lang/
String;I)Z
at
org.
apache.
hadoop.
io.
nativeio.Nativ
最近编写了一个mapreduce程序,在IDEA中执行发现出现这个问题,百度各种方案都不行,花了好久才解决,现在把最近看过和亲测过的方案整理如下,希望能让别人早日出坑。报错信息如下:
19/08/27 10:36:57 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOEx...
Windows下的 Eclipse上调试
Hadoop2代码,所以我们在
windows下的Eclipse配置
hadoop-eclipse-plugin-2.6.0.jar插件,并在运行
Hadoop代码时出现了一系列的问题,搞了好几天终于能运行起代码。接下来我们来看看问题并怎么解决,提供给跟我同样遇到的问题作为参考。
Hadoop2的WordCount.
java统计代码如下:
import
java.
io.
IOExcept
ion;
import
java.util.
StringTokenizer;
eclipse运行mapereduce程序时报如下错误:
log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).
log4j:WARN Please initialize the log4j system properly.
log4j:WAR...
org.apache.hadoop.io.nativeio.NativeIO$Windows.createDirectoryWithMode0(Ljava/lang/String;I)V错误解决方案