flume上传文件到hadoop,没有文件时正常,有文件时抛出DistributeFileSystem not found? 5C

flume配置好了,分布式。没有文件的时候运行正常,往它查询的目录上传一个文件就报错
Unable to deliver event. Exception follows.
org.apache.flume.EventDeliveryException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.hdfs.DistributeFileSystem not found
。但是hadoop-hdfs-2.7.3.jar我已经导入了。为啥会找不到,请指教。

1个回答

你是配了一个sink写出到hdfs么?不需要导什么jar包啊,我们就是这样用的。flume1.8

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
上传文件时抛出 java.io.FileNotFoundException (拒绝访问。)
我用JSP写了一个文件上传程序,文件是能够上传的,但在控制台总是抛出上传文件时抛出 java.io.FileNotFoundException (拒绝访问。)的异常。rn我在Google上搜了下,说是文件夹访问权限不够。但我是以超级管理员登录的啊,并且程序运行后文件能够上传到指定文件夹,这应该说明不是访问权限问题。但就是在控制台始终要抛出异常
读取SD卡文件时抛出NullPointerException
相关源码:package com.example.musicplayer;import java.io.File; import java.util.ArrayList; import java.util.List;import android.app.Activity; import android.os.Bundle; import android.os.Environment; import
flume采集ftp上传文件到hadoop
flume服务器环境centos 7.2jdk 1.8flume 1.8hadoop平台环境centos7.2ambari 2.6.1hdp 2.6.4jdk 1.8一、 ftp安装与配置参考:https://blog.csdn.net/qq_39160721/article/details/80250975二、flume安装与配置参考 :https://blog.csdn.net/qq_3916...
hadoop distributefilesystem类上传的文件副本数始终是默认值
客户端使用distributefilesystem类上传文件,文件能够上传到hadoop,但是无法通过设置configuration的dfs.replication值来改变默认的副本数和blocksize大小,这是什么原因?即使server端的副本配置已经是1,使用该类上传的文件副本数仍然是3,这是什么原因啊??求助各位热心人,谢谢!
求救。上传文件时如何限制文件的类型?
上传文件时如何限制文件的类型?
servlet上传文件时getItemIterator得不到文件
FileItemIterator iter = fileUpload.getItemIterator(request);rn InputStream is = null;//输出流rn //迭代取出rn while (iter.hasNext())rn FileItemStream item = iter.next();//获取文件流rn String name = item.getFieldName();//返回表单中标签的name值rn is = item.openStream();//得到对应表单的输出流rn if (item.isFormField())//如果是非文件域,设置进入map,这里要注意多值处理rn setFormParam(name,is);//如果不是文件上传,处理rn else if(!item.isFormField() && item.getName().length() > 0)rn String fname = item.getName().substring(item.getName().lastIndexOf("\\") + 1);rn System.out.println("request.getRealPath()=="+request.getRealPath("/"));rn String uploadPath = request.getRealPath("/")+"comment_pic\\";rn if(!new File(uploadPath).isDirectory())//选定上传的目录此处为当前目录,没有则创建 rn new File(uploadPath).mkdirs(); rn System.out.println("uploadPath="+uploadPath); rn String fileExtName = fname.substring(fname.lastIndexOf(".") + 1);rn //获得文件输入流rn BufferedInputStream in = new BufferedInputStream(is);rn String saveName = makeFileName(fname);rn //获得文件输出流rn BufferedOutputStream out = new BufferedOutputStream(new FileOutputStream(new File(uploadPath+"\\"+saveName)));rn Streams.copy(in, out, true);rn pic_urls.add(saveName);rn System.out.println(pic_urls);rn rn rn跑不到else if,文件获取不到,很怪异的问题。。。
上传文件时怎么控制可以选择的文件
额,就是,用上传文件时,点击上传文件,怎么只让弹出的窗口中只出现自己想要的格式的文件。就像很多网站都实现的那样,在修改头像时,弹出上传文件中只能选择"JPG"或者"jif"图片,这个怎么来实现。如图红源泉所示rn[img=http://img.my.csdn.net/uploads/201211/18/1353247731_6647.png][/img]
上传文件时检查文件是否存在的问题
我未选文件就点击上传,页面就会出错,选中文件时能正常工作,我在开头已经写了 if(upfile.PostedFile!=null)....... ,为什么我没文件时,程序也执行 块并且页面错误(那是当然的),路过的好心人请帮帮忙,谢谢 o(∩_∩)orn
利用FSO上传文件时文件的编码
使用FSO上传,文件有没有以二进制的形式上传,如果有个工具要获取这个文件,能不能获取的到?
上传文件时如何检查文件是否存在?
public void ExportToFTP(string fullfilename,string filename)rn rnstring subFolder = DateTime.Now.Month + "-" + DateTime.Now.Day + "-" + DateTime.Now.Year;rn rnstring dt = @"ftp://www.sdd.com/" + subFolder + "/" + filename;rnrn我想根据日期自动生成文件夹,但系统提示错误,请大家看看哪错了?rn如果没有FTP中没有日期文件夹就可以上传!rn FtpWebRequest request = (FtpWebRequest)WebRequest.Create(dt);rn request.Method = WebRequestMethods.Ftp.UploadFile;rn request.Credentials = new NetworkCredential("upload", "1111");rn StreamReader sourceStream = new StreamReader(fullfilename);rn byte[] fileContents = Encoding.UTF8.GetBytes(sourceStream.ReadToEnd());rn sourceStream.Close();rnrn request.ContentLength = fileContents.Length;rn Stream requestStream = request.GetRequestStream();rnrn requestStream.Write(fileContents, 0, fileContents.Length);rn requestStream.Close();rn
上传文件时怎么把文件名字改了???
我在原有的文件上改rn各位帮忙看看rn以下是upfile.asprn<%type9=request("type9")rnzuozhe=request("guo")rn'response.Write type9rn'response.Write zuozhern'response.End rn%>rnrnrnrnrn 上传文件中.....rnrnrn<%rn'on error resume nextrnDim filePathrnDim fileNamernDim fileExtrnDim file_subjectrnDim SqlrnDim msgrnDim errflagrnDim errnumberrnDim SavePathrnDim maxfilesizernrnSavePath = "SavePath" '虚拟路径(后面不要加"/"符号)rnmaxfilesize = 1*1024 '大小为1MrnrnErrflag=falsernfilePath = SavePath '使用虚拟路径进行赋值,如"/www"或"www"等rnfilePath = Server.MapPath(filePath) '将虚拟路径转换为磁盘路径rnfile_subject = GetFormVal("filename") '取得文件标题rnfileext = GetFormVal("fileExt") '取得文件介绍rnerrnumber = GetFormVal("errnumber") '取得报错方式rnerrnumber = cint(errnumber)rnrnif len(trim(file_subject))=0 thenrn Response.Write "文件主题不能为空"rn Response.Endrnend ifrnif len(trim(fileext))=0 thenrn fileext = "无简介"rnend ifrnrnfilename = SaveFile("fruit",filePath,maxfilesize,errnumber,1) '保存并取得文件名rn ' 0,1 唯一文件名方式,如果有同名则自动改名;rn ' 1,1 报错方式,如果有同名则出错;rn ' 2,[0|1] 覆盖方式,如果有同名则覆盖原来的文件rnrnif len(trim(filename))>0 thenrn Dim PerFnNrn Dim intPerFnNrn Dim PerFsizernrn PerFnN=split(filename,"|")rn intPerFnN=Ubound(PerFnN)rn Select Case intPerFnNrn Case 1rn FileName=Trim(PerFnN(0))rn PerFsize=Csng(Trim(PerFnN(1)))rn Case 0rn FileName=Trim(PerFnN(0))rn PerFsize=0rn End Selectrnrn select case Trim(filename)rn case "pathError"rn msg="错误: 指定的路径不存在"rn errflag=truern case "refileError"rn msg="错误: 文件已经存在"rn errflag=truern case "sizeError"rn msg="错误: 文件超出指定大小"rn errflag=truern case "modeError"rn msg="主机在不支持Fso模式下不能采用唯一或报错方式上传文件"rn errflag=truern case "fileError"rn msg="被限制上传的文件格式"rn errflag=truern case elsern msg=""rn errflag=falsern end selectrn shijian=now()rn FileName_2=year(shijian)&month(shijian)&day(shijian)&hour(shijian)&minute(shijian)&second(shijian)rn if not errflag thenrn Sql = "insert into upfile_table (subject,expit,filepath,filename,filesize,type9,zuozhe,FileName_2) values"rn Sql = Sql& " ('"& file_subject &"','"& fileext &"','"& SavePath &"','"& filename &"',"& PerFsize &",'"&type9 &"','"&zuozhe &"','"&FileName_2 &"')"rn conn.execute(sql)rn end ifrnend ifrnconn.closernset conn=nothingrnrnResponse.Write " "&vbcrlfrnrn%>rnrn
在上传文件时,如何知道该文件的绝对URL?
在上传文件时,如何知道该文件的绝对URL?
上传文件时,如何获得文件的创建时间?
用ASP采用无组件的方法实现上传本地文件至服务器的功能,(采用化镜ASP无组件上传类),如何获得所上传文件在本地计算机的创建时间和最后修改时间呢,我需要将这个时间写入数据库
上传文件时提示 文件拒绝被访问
对路径“E:\WWW\LocalUser\77535\manage\upload\邮箱.txt”的访问被拒绝。rnrn是不是远程服务器权限的问题?rnrn在是这么问题 怎么 解决?
jsp上传文件时如何提取文件的后缀名?
最好有详细的讲解。有java和jsp 的代码。
选择上传文件时,能否选择多个文件?
使用 ,一次只能选择一个,rnrn那是不是要用别的控件呢?
在上传文件时,怎样限制选择文件的类型?
我在用HTML控件File Field 时,Accept属性为什么没有用?那又怎样限制选择文件的类型?
在上传文件时,如何实现自定义的文件过滤器???
如题,最好给点示例代码,谢谢了
上传文件时怎么判断文件是否是图片
如题rn我用的是smartupload
在smartuload上传文件时,如何获得文件的全名?
在smartuload上传文件时,如何获得文件的全名?我下面的代码只能得到文件名,若上传c:\1.txt,只能得到1.txt,而得不到c:\1.txt。应该如何做能够得到包含完整路径的文件的全名?谢谢大家!rnString file = myUpload.getFiles().getFile(0).getFileName();rnSystem.out.println(file);
上传文件时怎样在客户端得到文件的大小?
javacript 中用rnfs=new ActiveXObject("Scripting.FileSystemObject");rn时不能创建对像rn请问有什么好的办法吗?rn
上传文件夹下所有文件时遇到问题
文件夹下的文件个数是不确定的 我怎么做才能全部上传上去rnrn 网上说的都是先选择路径 然后上传 我想偷偷的上传客户的一些图片信息 不知道怎么搞
使用springMVC上传文件时读取不到文件
注意事项:上传文件大小若小于2048,则不会生成临时文件 &amp;lt;bean id=&quot;multipartResolver&quot; class=&quot;org.springframework.web.multipart.commons.CommonsMultipartResolver&quot;&amp;gt; &amp;lt;property name=&quot;defaultEncoding&quot; value=&quot;UTF-...
js在上传文件时,怎么取得文件的扩展名
我只查到取得文件全名rnrn rnrnrnrnrn rn
上传文件时,怎么判断该文件的大小?
上传文件时,怎么判断该文件的大小?
hadoop 向hdfs存入文件时异常
之前一直好使,运行一个job失败之后就一直出错,也尝试了很多解决办法rnrn格式化过hdfs,以及删除tmp文件夹rn防火墙是关闭的。。。rn虚拟机储存空间还有好多。。。rnrn之前也出现过这样的问题,全部重新配置的才好使...现在又出现,这回想彻底把它解决了,求大神们指导rnrn下面是错误信息。rnrn[root@itcast01 Desktop]# hadoop fs -put 111.dat /rn15/11/07 23:45:12 WARN hdfs.DFSClient: DataStreamer Exceptionrnorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File /111.dat._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation.rn at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1441)rn at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2702)rn at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:584)rn at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:440)rn at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)rn at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)rn at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)rn at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)rn at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)rn at java.security.AccessController.doPrivileged(Native Method)rn at javax.security.auth.Subject.doAs(Subject.java:415)rn at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556)rn at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)rnrn at org.apache.hadoop.ipc.Client.call(Client.java:1410)rn at org.apache.hadoop.ipc.Client.call(Client.java:1363)rn at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)rn at com.sun.proxy.$Proxy9.addBlock(Unknown Source)rn at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)rn at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)rn at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)rn at java.lang.reflect.Method.invoke(Method.java:606)rn at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:190)rn at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:103)rn at com.sun.proxy.$Proxy9.addBlock(Unknown Source)rn at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:361)rn at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1439)rn at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1261)rn at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:525)rnput: File /111.dat._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation.rn[root@itcast01 Desktop]# clearrnrn[root@itcast01 Desktop]# hadoop fs -put 111.dat /rn15/11/07 23:45:18 WARN hdfs.DFSClient: DataStreamer Exceptionrnorg.apache.hadoop.ipc.RemoteException(java.io.IOException): File /111.dat._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation.rn at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1441)rn at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2702)rn at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:584)rn at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:440)rn at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)rn at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)rn at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)rn at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)rn at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)rn at java.security.AccessController.doPrivileged(Native Method)rn at javax.security.auth.Subject.doAs(Subject.java:415)rn at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556)rn at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)rnrn at org.apache.hadoop.ipc.Client.call(Client.java:1410)rn at org.apache.hadoop.ipc.Client.call(Client.java:1363)rn at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)rn at com.sun.proxy.$Proxy9.addBlock(Unknown Source)rn at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)rn at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)rn at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)rn at java.lang.reflect.Method.invoke(Method.java:606)rn at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:190)rn at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:103)rn at com.sun.proxy.$Proxy9.addBlock(Unknown Source)rn at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:361)rn at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1439)rn at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1261)rn at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:525)rnput: File /111.dat._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 1 datanode(s) running and no node(s) are excluded in this operation.
hadoop搭建,上传文件时出现错误,没有到主机的路由
hadoop搭建,上传文件时出现错误,没有到主机的路由
struts上传文件时在文件成功上传之前获得文件的大小
[size=12px]在使用struts的formfile上传文件的时候,我想在浏览器端可以动态的显示文件上传的进度。rnrnrn目前,我想使用dwr(http://directwebremoting.org/dwr/index.html),通过在浏览器端rn调用server端的一个java对象的方法来获取文件上传的进度rnrnrnrn我想问的是,这个服务器端的对象怎么实现?我期望这个对象的功能是,每次浏览器端rn通过dwr来调用这个对象的方法的时候,比如说getfilesize,这个对象能够返回一个目前rn文件上传大小的值?这样,在浏览器端就可以动态的显示文件上传的进度了。rn[/size]
上传文件时如何把文件直接存入数据库?word文件
none
hadoop 往dfs上传文件时报错
在hadoop重新format namenode后在hdfs上创建文件夹没有问题,但是就所不能上传文件。上传的文件也只有文件名,文件内容为空。并且报could only be replicated to 0nodes ,instead of 1。查看logs中的datanode日志,发现如下错误: *************************************************...
【Flume】文件收集框架Flume
文件收集框架Flume的架构设计、安装步骤及使用情形。
创建maven项目时,没有web.xml文件
今天刚开始学习创建maven项目,跟着视频学习时出现了问题。项目创建完后没有web.xml。跟着视频和评论修改时也没有发现问题。最后发现……一、问题创建maven项目时,没有web.xml文件二、解决(1)找到project facets---&amp;gt;点击Dynamic web Module---&amp;gt;先把勾去掉,再点击右下角的Apply---&amp;gt;再勾上,点击最下方出现的提示(Further...
sqlldr时报错文件没有找到
LOAD DATArninfile 'e:\aa.csv'rnREPLACErnPRESERVE BLANKSrnINTO TABLE mycqsrnFIELDS TERMINATED BY ","rnOPTIONALLY ENCLOSED BY '"'rnTRAILING NULLCOLSrn(rnarn,brn,crn)rn说是没有发现aa.csv,靠,明明在的啊,也不想时权限问题啊.rnrn但是我把 infile 'e:\aa.csv' 删掉,却报aa.dat没有找到。rnrn不知道怎么解决
Eclipse编辑DTD文件时,没有错误提示
在使用Eclipse编辑DTD文件时,发现引用该DTD文件的XML文件在编辑时没有内容提示: 1. 在Project Explorer界面中右击该DTD文件--&gt;Validate 2. 如果出现了错误,打开Problems界面(Window--&gt;Show View--&gt;Problems),可以看到具体的错误信息,改正错误后重复第1步。 3. 现在在编辑XML文件时应该可以看到内容提示了。 ...
idea 创建maven项目时没有web.xml文件
参考:https://www.cnblogs.com/Liang-Haishan216/p/9302141.html  
创建maven web项目时,没有web.xml文件
1.问题:创建maven项目时,选择的是创建web-app项目,但是结果配置之后,却没有web.xml文件。 2.解决办法: -------------------------------------------------------------------------- 最后点击ok,web.xml文件生成成功。
make makefile文件时,没有编译成可执行文件
makefile文件如下:rninclude $(HOME)/include/makerulesrnINCL = $(HOME)/includernLIB = -L$(HOME)/lib -lServerCom -lKeyComUti -lsocket -lmalloc -lEncrypt rnLIB1 = -L$(HOME)/lib -lServerComLt900 -lKeyComUti -lsocket -lmalloc -lEncrypt rnBIN = $(HOME)/binrnCC = cc -I$(INCL) rnEC = $(INFORMIXDIR)/bin/esql -c -I$(INCL) rnrnrnALL: SyncAccList rnrnSyncAccList : SyncAccList.orn esql -dn -o $@ SyncAccList.o $(LIB)rn rm SyncAccList.ornrn运行make后,提示如下:rnrnwarning: debugging and optimization mutually exclusive; -O disabledrn"SyncAccList.ec", line 6: warning: file has CR-NL delimited linesrnrn结果只生生成了一个文件:SyncAccList.crn求高手指点一下。rnrn
用vs2008时没有designer.cs文件
以前创建网站的时候有三个文件 Default2.aspx Default2.cs Default2.designer.cs 现在就少了一个designer.cs文件 不知道什么原因啊? 帮帮忙!
CFileDialog, 选中文件时, 文件名没有更新
调用CFileDialog, 选中文件后, 文件名依然没有改变
photoshop 存文件时怎末没有*.gif?
-
相关热词 c# 去空格去转义符 c#用户登录窗体代码 c# 流 c# linux 可视化 c# mvc 返回图片 c# 像素空间 c# 日期 最后一天 c#字典序排序 c# 截屏取色 c#中的哪些属于托管机制