java中调用hdfs上传文件异常 5C

hadoop内存情况:

 Name: 172.16.100.254:9866 (aliyunhost)
Hostname: aliyunhost
Decommission Status : Normal
Configured Capacity: 42139451392 (39.25 GB)
DFS Used: 49152 (48 KB)
Non DFS Used: 4084449280 (3.80 GB)
DFS Remaining: 35890798592 (33.43 GB)
DFS Used%: 0.00%
DFS Remaining%: 85.17%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Thu Aug 30 17:25:22 CST 2018
Last Block Report: Thu Aug 30 16:27:10 CST 2018
Num of Blocks: 1

jps

 4112 DataNode
6498 Jps
4552 ResourceManager
4010 NameNode
4271 SecondaryNameNode

文件上传异常信息

 org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test1/renhh/test1.txt could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node(s) are excluded in this operation.

0

1个回答

datanode在运行但是有问题被排除掉了。看看datanode的日志检查下datanode有什么问题吧。

1
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
使用java接口上传文件到HDFS
使用java接口上传文件到HDFS
JavaWeb操作hadoop2.6 HDFS,从页面上传,下载,列表展示的demo
使用springmvc+mybatis从页面进行hadoop2.6 HDFS文件系统的上传,下载和列表展示的Demo希望对大家有用。
java上传文件到hdfs简单demo
package com.lijie.uploadsingle;import java.io.IOException; import java.net.URI; import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; i
java上传文件到HDFS
java上传本地文件到HDFS。 1、pom依赖<dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>2.6.0-cdh5.5.1</version> </dependency><dependency> <groupId>or
hadoop开发:HDFS上传文件失败原因
执行[grid@hadoop001 hadoop-1.1.2]$ bin/hadoop fs -put ../input/* ./in提示: 13/08/11 18:33:58 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ip c.RemoteException: java.io.IOExce
复习:用Eclipse上传文件到hdfs集群的常见问题
用Eclipse上传文件到hdfs集群的常见问题 一、准备 工具:windows平台的hadoop(我的是hadoop-2.6.4包,这个包我不知道怎么上传上来,2333....),eclipse; 第一步:首先把压缩包解压; 第二步:配置环境变量 添加一个HADOOP_HOME=E:\hadoop 2.6.4(填你自己的路径); 把%HADOOP_HOME%\bin添加到Path中 ...
springboot上传下载文件(3)--java api 操作HDFS集群+集群配置
只有光头才能变强! 本系列文章: springboot上传下载文件(1)(项目和文件资源放在同一个服务器上) springboot上传下载文件(2)---搭建独立的文件服务器 springboot上传下载文件(3)--java api 操作HDFS集群+集群配置 springboot上传下载文件(4)--上传下载工具类(已封装) 前一篇文章讲了nginx+ftp搭建独立的文件服务器 ...
调用JAVA API对HDFS文件进行文件的读写、上传下载、删除等操作代码详解
Hadoop文件系统  基本的文件系统命令操作, 通过hadoop fs -help可以获取所有的命令的详细帮助文件。  Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。该类是一个抽象类,通过以下两种静态工厂方法可以过去FileSystem实例:  public static FileSystem.get(Configur
Hadoop上传文件到HDFS时异常处理步骤
Hadoop环境搭建主要参考如下两篇博客 参考如下: http://blog.csdn.net/hitwengqi/article/details/8008203 http://www.cnblogs.com/tippoint/archive/2012/10/23/2735532.html 本人环境如下:        VM 9.0        Ubuntu 12.04      
hadoop FileSystem 重写 Progress 方法获取文件上传总进度
hadoop FileSystem 重写 Progress 方法获取文件上传总进度
HDFS中JavaAPI对文件的上传、查询
Ubuntu + Hadoop2.7.3集群搭建:https://blog.csdn.net/qq_38038143/article/details/83050840 Ubuntu配置Eclipse + Hadoop环境:https://blog.csdn.net/qq_38038143/article/details/83412196 操作环境:Hadoop集群,4个DataNode。 1.创...
Hadoop HDFS 文件访问权限问题导致Java Web 上传文件到Hadoop失败的原因分析及解决方法
1. 问题描述:          Eclipse中开发Java Web程序,使用Hadoop-Core JAR包中的Java API,上传文件到Hadoop HDFS文件系统中,上传提示成功,但是在Hadoop集群中通过“hadoop fs –ls /xxx”命令却无法查看到相应的上传文件。 2. 问题原因分析:          其实,本次文件上传并未成功!在To
JAVA上传文件至HDFS代码及对应jar包
最近需要将本地采集到的文件上传到远程服务器的HDFS文件系统当中,弄了很久,找代码,找JAR包,很麻烦,记录一下。 源码部分很简单: import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStream; impor...
Hadoop学习笔记一(通过Java API 操作HDFS,文件上传、下载)
package demo.hdfs; import java.util.Arrays; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FileStatus; import org.apac
Java 实现HDFS文件上传
HDFS上传文件大致分为三种:1)直接调用API2)使用webhdfs3)httpfs以下对前两种进行简要说明1)直接调用API(直接上代码)public void hdfsUpload(String srcPath) throws IOException,URISyntaxException { Configuration conf = new Configuration(); ...
(4)通过调用hadoop的java api实现本地文件上传到hadoop文件系统上
本文出自https://shuwoom.com博客,欢迎访问! (1)首先创建java project 选择eclipse菜单上File-&amp;gt;New-&amp;gt;Java Project。 并命名为UploadFile。     (2)添加必要的hadoop jar包 右键选择JRE System Library,选择Build Path下的Configure Build P...
java实现-hdfs上的文件上传下载(windows)
java–HDFS文件操作实现全局静态变量:hdfs的地址和端口号 private static String HDFSUri = "hdfs://10.8.177.29:8020";1. 获取文件系统/** * 获取文件系统 * * @return FileSystem 文件系统 */ public static FileSystem getFile
通过JAVA API上传文件到HDFS
hdfs操作注意事项  注意关闭虚拟机防火墙设置如果开启了翻墙代理,注意调整到本地模式在core-site.xml中配置时,不要使用localhost,而应该使用虚拟机IP地址,否则无法连接到虚拟机hadoop如下权限不够: 修改用户权限 上传成功  源代码 public static void main(String[] args) throws Exception {
java上传本地文件到HDFS简单demo
本文整理了上传文件到hdfs的三种java代码,均已测试通过 1、创建maven项目  2、pom依赖 junit junit 3.8.1 test org.apache.hadoop hadoop-client 2.7.3
通过javaAPI上传文件到HDFS文件系统
import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import org.apache.hadoop.conf.C...
学习笔记:hadoop cloudera CDH5.13.1 java编程向HDFS写入文件
hadoop cloudera CDH5.13.1 java编程向HDFS写入文件1.以用户hdfs身份创建需写入文件的目录root@cdh01:~#su hdfshadoop fs -mkdir /outputhadoop fs -chmod 777 /outputexit 2. 创建目录 /root/java 存放编写及编译的代码root@cdh01:~#  mkdir  javaroot@c...
hadoop上传文件到hdfs出错
通过命令: Hadoop fs -put /opt/program/userall20140828 hdfs://localhost:9000/tmp/tvbox/ 上传文件到hdfs是出现错误 14/12/11 17:57:49 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteE
用java程序把本地的一个文件拷贝到hdfs上并显示进度
把程序打成jar包放到Linux上 转到目录下执行命令 hadoop jar mapreducer.jar /home/clq/export/java/count.jar  hdfs://ubuntu:9000/out06/count/ 上面一个是本地文件,一个是上传hdfs位置 成功后出现:打印出来,你所要打印的字符。 package com.clq.hdfs; import java
java对hdfs的上传、下载、读取文件
File对象上传到hdfs /** * File对象上传到hdfs * @param filesrc * @param hdfsPath * @param filename * @return */ public static Boolean uploadFile(String filesrc, String hdfsPath,S...
hdfs访问异常
Exception in thread "main" java.lang.IllegalArgumentException: Wrong FS: hdfs://nameservice1/user/dub/data/analyze/CY001/20151014/me mberdata, expected: file:///         at org.apache.hadoop.fs.File
JavaWeb-文件上传下载-可基于文件内容查询文件(MySQL+Servlet+Hadoop)
hdfs dfs -mkdir -p /data/fileSmartUpload hdfs dfs -mkdir -p /output/
从本地上传整个文件夹到hdfs的java程序
从本地上传整个文件夹到hdfs的java程序
RPC和HDFS文件读写(下载上传)过程
1 RPC RPC——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定 某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC 使得开发包括网络分布式多程序在内的应用程序更加容易。 RPC采用客户机/服务器模式。请求程序就是一个客
通过java操作Hadoop中zookeeper和HDFS的命令,同如Shell
通过java操作zookeeper的命令——配置环境变量(之前在java中配置过的,因为在cognos的时候要把java的环境变量删除掉,所以现在要把java的环境变量恢复!配置环境变量.docx 因cognos删除的环境配置.docx)。。。首先要在新建的项目project里导入相关的包右键&amp;gt;build path&amp;gt;user library&amp;gt;new...准本好后建包-类-★创建节...
java操作hadoop hdfs,实现文件上传下载demo
本文主要参考了Hadoop HDFS文件系统通过java FileSystem 实现上传下载等,并实际的做了一下验证。代码与引用的文章差别不大,现列出来作为备忘。 import java.io.*; import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSD
eclipse远程上传hdfs文件报错
在windows下使用eclipse远程上传至linux下的hdfs文件系统报错: org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=cmaster, access=WRITE,inode="
java对HDFS中文件的操作
    1 概述: 1   1     Hadoop 提供一类api可以通过java工程操作hdfs中的文件,包括:文件打开,读写,删除等、            目录的创建,删除,读取目录中所有文件等。 2   2    需要处理hadoop的文件程序需要引入下面jar包,可以hadoop-1.2.1\lib找到。      hadoop-core和common-log,comm...
上传文件到HDFS
上传文件到HDFS的java代码实现。已经测试了,可以直接运行。
HDFS中JAVA API的使用(hadoop的文件上传和下载)
HDFS是一个分布式文件系统,既然是文件系统,就可以对其文件进行操作,比如说新建文件、删除文件、读取文件内容等操作。下面记录一下使用JAVA API对HDFS中的文件进行操作的过程。   对分HDFS中的文件操作主要涉及一下几个类:   Configuration类:该类的对象封转了客户端或者服务器的配置。   FileSystem类:该类的对象是一个文件系统对象,可以用该对象的
eclipse远程上传hdfs文件报错-权限问题
在windows下使用eclipse远程上传至linux下的hdfs文件系统报错:org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security.AccessControlException: Permission denied: user=cmaster, access=WRITE,inode=&quot;&quot;:ro...
eclipse 通过插件向hdfs上传文件遇到一个很坑的问题
这个问题害我纠结了一天,具体情况是这样的,我通过eclipse for hadoop 插件向master hdfs主机上传文件,然后做一个测试。 至于环境搭建和怎么配置插件我这里就不着重讲了,我通过插件连接上了master的hdfs,我再上面新建文件夹,后面我把一个测试文件通过插件进行上传,发现上传到hdfs上的文件大小仅为0kb,我勒个去甚是郁闷啊!!! 各种百度,修改配置文件试了很多次发现问题
关于通过Eclipse上传文件到HDFS文件为空的问题
解决办法 第一种: #iptables -F 注:将每一个节点的防火墙关闭。因为造成文件为空的原因可能是节点与节点之间出现了访问权限限制的问题,导致文件上传失败。 第二种: 将hdfs-site.xml文件中的dfs.data.dir和core-site.xml文件中的hadoop.tmp.dir的路径指定为linux操作系统中已经存在的同一个路径。 Over
在spring boot下如何通过rest 接口 来上传文件 和下载文件 到 hadoop hdfs
本文将用代码来演示在spring boot里面,用hadoop client,通过restful API来上传文件 和下载文件 到 hadoop hdfs。 里面有一些代码依赖坑,注意绕行。 前提: 如果你的代码在windows上运行,去连接linux上的hadoop(2.7.x或者以上),则需要做一下设置。 1:下载下面的windows hadoop https://github.co...
java写hdfs文件有乱码
java写到hdfs文件中,用hadoop命令查看没有问题,spark程序读取再println也没问题,用spark-shell collect的时候出现乱码。回到代码中发现用writeChars()这个函数写入文件,解决办法:用write(str.getBytes())就好了。String resultStr = guid + &quot;\t&quot; + StringUtils.join(&quot;#&quot;, recVi...
数据采集之Web端上传文件到Hadoop HDFS
前言最近在公司接到一个任务,是关于数据采集方面的。 需求主要有3个: 通过web端上传文件到HDFS; 通过日志采集的方式导入到HDFS; 将数据库DB的表数据导入到HDFS。 正好最近都有在这方面做知识储备。正所谓养兵千日,用兵一时啊。学习到的东西只有应用到真实的环境中才有意义不是么。环境这里只做模拟环境,而不是真实的线上环境,所以也很简单,如果要使用的话还需要优化优化。 OS Debian 8
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 java异常学习笔记 java异常学习