- 其他相关推荐
-
java连接hdfs，连接超时
- java连接hdfs，30s未反应，退出，我该怎么做
之前一直是连接超时，重复连接45次，我想做的是：30s未响应，该操作就退出
-
hdfs中可以存储几个目录吗，怎么配置的？
- hdfs中可以存储几个目录吗，怎么配置的？如果能就在HDfS dfs.data.dir配置下填了两个目录吧，那实际在存数据的时候这两个目录的权重怎么分配的呢
-
Android通过HDFS API 上传和读取文件
- Android通过HDFS API 上传和读取文件需要什么jar包引入，然后要添加什么配置文件到项目，配在哪里，然后怎么连接上，如果可以给出核心的连接代码给我参考下，有劳大家了！！
-
window上eclipse连接HDFS，无法连接但不报错
- 
我使用maven连接虚拟机上的HDFS，在创建输出流时一直无法创建，也不报错
已关闭两者防火墙，hadoop权限也已经最高
不知道哪里的问题
-
flume可以监控hdfs上的指定目录吗
- 现在需要监控hdfs上的一个目录 把新增文件传到另一个hdfs上 目前想到的就是flume 大佬们求帮助，或者其他组建有能完成的吗。
-
hdfs 上传/下载文件报错
- 上传 不报错。但是hdfs 上面的文件大小为0.
下载的时候
org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-127181180-172.17.0.2-1526283881280:blk_1073741825_1001 file=/wing/LICENSE.txt
at org.apache.hadoop.hdfs.DFSInputStream.chooseDataNode(DFSInputStream.java:946)
at org.apache.hadoop.hdfs.DFSInputStream.blockSeekTo(DFSInputStream.java:604)
at org.apache.hadoop.hdfs.DFSInputStream.readWithStrategy(DFSInputStream.java:844)
at org.apache.hadoop.hdfs.DFSInputStream.read(DFSInputStream.java:896)
at java.io.DataInputStream.read(DataInputStream.java:100)
at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:85)
at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:59)
at org.apache.hadoop.io.IOUtils.copyBytes(IOUtils.java:119)
at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:366)
at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:338)
at org.apache.hadoop.fs.FileUtil.copy(FileUtil.java:289)
at org.apache.hadoop.fs.FileSystem.copyToLocalFile(FileSystem.java:2030)
at hadoop.hdfs.HdfsTest.testDownLoad(HdfsTest.java:76)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.junit.runners.model.FrameworkMethod$1.runReflectiveCall(FrameworkMethod.java:50)
at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12)
at org.junit.runners.model.FrameworkMethod.invokeExplosively(FrameworkMethod.java:47)
at org.junit.internal.runners.statements.InvokeMethod.evaluate(InvokeMethod.java:17)
at org.junit.runners.ParentRunner.runLeaf(ParentRunner.java:325)
at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:78)
at org.junit.runners.BlockJUnit4ClassRunner.runChild(BlockJUnit4ClassRunner.java:57)
at org.junit.runners.ParentRunner$3.run(ParentRunner.java:290)
at org.junit.runners.ParentRunner$1.schedule(ParentRunner.java:71)
at org.junit.runners.ParentRunner.runChildren(ParentRunner.java:288)
at org.junit.runners.ParentRunner.access$000(ParentRunner.java:58)
at org.junit.runners.ParentRunner$2.evaluate(ParentRunner.java:268)
at org.junit.runners.ParentRunner.run(ParentRunner.java:363)
at org.junit.runner.JUnitCore.run(JUnitCore.java:137)
at com.intellij.junit4.JUnit4IdeaTestRunner.startRunnerWithArgs(JUnit4IdeaTestRunner.java:68)
at com.intellij.rt.execution.junit.IdeaTestRunner$Repeater.startRunnerWithArgs(IdeaTestRunner.java:47)
at com.intellij.rt.execution.junit.JUnitStarter.prepareStreamsAndStart(JUnitStarter.java:242)
at com.intellij.rt.execution.junit.JUnitStarter.main(JUnitStarter.java:70)
求各位大佬帮忙看看。环境是在docker 上部署的， 1主2丛。jps查看 datanode和nameNode 都是活的。
网页访问50070 也能进入web 也，里面显示的节点也是活的。
在服务器上用 hdfs dfs -put /get 操作可以成功。
java 代码如下：
private FileSystem createClient() throws IOException {
//设置程序执行的用户为root
System.setProperty("HADOOP_USER_NAME","root");
//指定NameNode的地址
Configuration conf = new Configuration();
conf.set("fs.defaultFS","hdfs://Master:9000");
//创建hdfs客户端
return FileSystem.get(conf);
}
@Test
public void testMkdir() throws IOException {
FileSystem client = createClient();
//创建目录
client.mkdirs(new Path(PATH));
//关闭客户端
client.close();
}
@Test
public void testUpload() throws Exception{
FileSystem client = createClient();
//构造输入流
InputStream in = new FileInputStream("d:\\bcprov-jdk16-1.46.jar");
//构造输出流
OutputStream out = client.create(new Path(PATH +"/bcprov.jar"));
//上传
IOUtils.copyBytes(in, out ,1024);
//关闭客户端
client.close();
}
@Test
public void testDownLoad() throws Exception{
FileSystem client = createClient();
//构造输入流
FSDataInputStream in = client.open(new Path("hdfs://Master:9000/wing/LICENSE.txt"));
//构造输出流
OutputStream out = new FileOutputStream("d:\\hello.txt");
//下载
IOUtils.copyBytes(in, System.out, 1024, false);
IOUtils.closeStream(in);
IOUtils.closeStream(out);
//关闭客户端
client.close();
}
其他api 调用是可以的，比如创建目录。
-
hdfs链接特别慢的问题？
- java操作hdfs的时候特别慢，但是同样的是链接eclispe中的hdfs locations就比较快，hdfs locations中对hdfs中的文件操作也是特别快的，请问如何java如何才能像hdfs locations一样这么快？是有现成的hdfs连接池什么的吗？
-
hdfs的数据格式类型处理一定要Java等开发jar包吗？
- hdfs的数据格式类型处理一定要Java等开发jar包才可以处理吗？比如时间处理成年月日格式？没有工具直接用的吗？
-
做一个flume收集到另一个flume，再传给hdfs，但是现在flume连接hdfs出现如下错误
- 
错误主要是这个：Failed to start agent because dependencies were not found in classpath.上图是报错，麻烦大神解决
下面是配置文件
#master_agent
master_agent.channels = c2
master_agent.sources = s2
master_agent.sinks = k2
#master_agent avrosources
master_agent.sources.s2.type = avro
master_agent.sources.s2.bind = master1
master_agent.sources.s2.port = 41415
master_agent.sources.s2.channels = c2
#master_agent filechannels
master_agent.channels.c2.type = file
master_agent.channels.c2.capacity = 100000
master_agent.channels.c2.transactionCapacity = 1000
#master_agent hdfssinks
master_agent.sinks.k2.type = hdfs
master_agent.sinks.k2.channel = c2
master_agent.sinks.k2.hdfs.path = hdfs://master1:9000/hdfs
master_agent.sinks.k2.hdfs.filePrefix = test-
master_agent.sinks.k2.hdfs.inUsePrefix = _
master_agent.sinks.k2.hdfs.inUseSuffix = .tmp
master_agent.sinks.k2.hdfs.fileType = DataStream
master_agent.sinks.k2.hdfs.writeFormat = Text
master_agent.sinks.k2.hdfs.batchSize = 1000
master_agent.sinks.k2.hdfs.callTimeout = 6000
-
hadoop下的存储在hdfs中的视频文件怎么播放？
- hadoop下的存储在hdfs中的视频文件怎么播放？可以直接拿到视频文件的http路径吗，我现在想实现的是像百度云这样的可以在线播放，但是不知道怎么得到文件的路径，而hdfs提供的API只有上传下载文件这些，对于这样的问题要怎么解决呢？？
-
python如何操作HDFS读取Mapfile 文件
- 请问使用python可以读取HDFS的MapFile文件吗？如果可以，相关API是什么啊？在线等。。。
-
问下关于hdfs文件上传的问题
- 1、hdfs怎么快速的上传10亿的数据
2.怎么验证数据的准确性
3.如果在接收数据时，遇到数据激增的情况或者波动很大怎么解决
求大佬给点建议
-
为什么有的时候文件上传hdfs会比scp传输快？
- 什么情况下 hdfs 上传会比 scp 快?为什么?
百度 inf 面试题之一
-
Hadoop2.5.2 hdfs拒绝连接 求指教!
- 问题求解
配置文件
core-site.xml
hdfs-site.xml 
mapred-site.xml.template 
yarn-site.xml 
-
hdfs append追加文件上传的问题
- 各位大神们，小弟设置了hadoop-0.20-cdh3u0版本的dfs.support.append为true，然后想测试下文件追加上传。第一次上传一个文件的前4096看，第二次上传其余部分。但是发现2次上传的文件大小之和小于总文件大小。我发现问题在于，当第二次上传时，hdfs会删除第一次的文件，然后重新建立新文件再上传，所以文件大小只有第二次上传的数据大小。
以下是hadoop的日志：
2012-07-10 15:00:04,363 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit: ugi=dell ip=/172.18.9.55 cmd=[color=red]create [/color]src=/user/tmp/test.jpg dst=null perm=dell:supergroup:rw-r--r--
2012-07-10 15:00:04,373 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.allocateBlock: /user/tmp/test.jpg. blk_5234108089936612403_9027
2012-07-10 15:00:04,401 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.addStoredBlock: blockMap updated: 172.17.0.122:50010 is added to blk_5234108089936612403_9027 size [color=red]4096[/color]
2012-07-10 15:00:04,403 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.addStoredBlock: blockMap updated: 172.17.0.123:50010 is added to blk_5234108089936612403_9027 size [color=red]4096[/color]
2012-07-10 15:00:04,406 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.addStoredBlock: blockMap updated: 172.17.0.121:50010 is added to blk_5234108089936612403_9027 size [color=red]4096[/color]
2012-07-10 15:00:04,409 INFO org.apache.hadoop.hdfs.StateChange: Removing lease on file /user/tmp/test.jpg from client DFSClient_771894663
2012-07-10 15:00:04,409 INFO org.apache.hadoop.hdfs.StateChange: DIR* NameSystem.completeFile: file /user/tmp/test.jpg is closed by DFSClient_771894663
2012-07-10 15:00:06,429 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.addToInvalidates: blk_5234108089936612403 is added to invalidSet of 172.17.0.122:50010
2012-07-10 15:00:06,429 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.addToInvalidates: blk_5234108089936612403 is added to invalidSet of 172.17.0.123:50010
2012-07-10 15:00:06,429 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.addToInvalidates: blk_5234108089936612403 is added to invalidSet of 172.17.0.121:50010
2012-07-10 15:00:06,430 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit: ugi=dell ip=/172.18.9.55 cmd=[color=red]delete [/color]src=/user/tmp/test.jpg dst=null perm=null
2012-07-10 15:00:06,431 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem.audit: ugi=dell ip=/172.18.9.55 cmd=[color=red]create [/color]src=/user/tmp/test.jpg dst=null perm=dell:supergroup:rw-r--r--
2012-07-10 15:00:06,435 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.allocateBlock: /user/tmp/test.jpg. blk_5499311137188998743_9028
2012-07-10 15:00:06,464 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.addStoredBlock: blockMap updated: 172.17.0.120:50010 is added to blk_5499311137188998743_9028 size [color=red]39455[/color]
2012-07-10 15:00:06,465 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.addStoredBlock: blockMap updated: 172.17.0.122:50010 is added to blk_5499311137188998743_9028 size [color=red]39455[/color]
2012-07-10 15:00:06,467 INFO org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.addStoredBlock: blockMap updated: 172.17.0.121:50010 is added to blk_5499311137188998743_9028 size [color=red]39455[/color]
2012-07-10 15:00:06,469 INFO org.apache.hadoop.hdfs.StateChange: Removing lease on file /user/tmp/test.jpg from client DFSClient_771894663
最终文件大小为：39455
求各位大神给小弟解决办法。
-
java连接hadoop hdfs文件系统报错
- 报错信息：
java.io.IOException: Failed on local exception: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.; Host Details : local host is: "localhost.localdomain/127.0.0.1"; destination host is: "172.16.6.57":9000;
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:763)
at org.apache.hadoop.ipc.Client.call(Client.java:1229)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:202)
at $Proxy9.create(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:601)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:164)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:83)
at $Proxy9.create(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.create(ClientNamenodeProtocolTranslatorPB.java:193)
at org.apache.hadoop.hdfs.DFSOutputStream.<init>(DFSOutputStream.java:1324)
at org.apache.hadoop.hdfs.DFSOutputStream.newStreamForCreate(DFSOutputStream.java:1343)
at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1255)
at org.apache.hadoop.hdfs.DFSClient.create(DFSClient.java:1212)
at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:276)
at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:265)
at org.apache.hadoop.hdfs.DistributedFileSystem.create(DistributedFileSystem.java:82)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:886)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:781)
at com.zk.hdfs.FileCopyToHdfs.uploadToHdfs(FileCopyToHdfs.java:44)
at com.zk.hdfs.FileCopyToHdfs.main(FileCopyToHdfs.java:21)
Caused by: com.google.protobuf.InvalidProtocolBufferException: Protocol message end-group tag did not match expected tag.
at com.google.protobuf.InvalidProtocolBufferException.invalidEndTag(InvalidProtocolBufferException.java:73)
at com.google.protobuf.CodedInputStream.checkLastTagWas(CodedInputStream.java:124)
at com.google.protobuf.AbstractMessageLite$Builder.mergeFrom(AbstractMessageLite.java:213)
at com.google.protobuf.AbstractMessage$Builder.mergeFrom(AbstractMessage.java:746)
at com.google.protobuf.AbstractMessage$Builder.mergeFrom(AbstractMessage.java:238)
at com.google.protobuf.AbstractMessageLite$Builder.mergeDelimitedFrom(AbstractMessageLite.java:282)
at com.google.protobuf.AbstractMessage$Builder.mergeDelimitedFrom(AbstractMessage.java:760)
at com.google.protobuf.AbstractMessageLite$Builder.mergeDelimitedFrom(AbstractMessageLite.java:288)
at com.google.protobuf.AbstractMessage$Builder.mergeDelimitedFrom(AbstractMessage.java:752)
at org.apache.hadoop.ipc.protobuf.RpcPayloadHeaderProtos$RpcResponseHeaderProto.parseDelimitedFrom(RpcPayloadHeaderProtos.java:985)
at org.apache.hadoop.ipc.Client$Connection.receiveResponse(Client.java:938)
at org.apache.hadoop.ipc.Client$Connection.run(Client.java:836)
代码是在网上找的：
package com.zk.hdfs;
import java.io.BufferedInputStream;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.util.Progressable;
public class FileCopyToHdfs {
public static void main(String[] args) throws Exception {
try {
uploadToHdfs();
//deleteFromHdfs();
//getDirectoryFromHdfs();
// appendToHdfs();
// readFromHdfs();
} catch (Exception e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
finally
{
System.out.println("SUCCESS");
}
}
/**上传文件到HDFS上去*/
public static void uploadToHdfs() throws FileNotFoundException,IOException {
String localSrc = "e:/test.txt";
String dst = "hdfs://172.16.6.57:9000/user/abc/zk/test1.txt";
InputStream in = new BufferedInputStream(new FileInputStream(localSrc));
Configuration conf = new Configuration();
FileSystem fs = FileSystem.get(URI.create(dst), conf);
OutputStream out = fs.create(new Path(dst), new Progressable() {
public void progress() {
System.out.print(".");
}
});
IOUtils.copyBytes(in, out, 4096, true);
}
}
总是报连接问题，网上搜不到资料，大牛帮下忙啊
-
上传文件到HDFS不能创建副本
- 17/06/02 13:32:08 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /yelp_challenge_academin_dataset._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 5 datanode(s) running and no node(s) are excluded in this operation.
at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1549)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3200)
at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:641)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:482)
at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:619)
at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:962)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2039)
at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2035)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:422)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2033)
at org.apache.hadoop.ipc.Client.call(Client.java:1468)
at org.apache.hadoop.ipc.Client.call(Client.java:1399)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:232)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:399)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at com.sun.proxy.$Proxy10.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1532)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1349)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:588)
put: File /yelp_challenge_academin_dataset._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 5 datanode(s) running and no node(s) are excluded in this operation.
上传文件到HDFS时，抛出如上异常。该异常只针对特定的文件抛出，部分文件可以正常上传，同时出现有文件上传不完整。
-
ecplise内读取hadoop hdfs上的文件，报错，拒绝连接
- Exception in thread "main" java.net.ConnectException: Call From dong-PC/192.168.1.51 to 192.168.1.92:9001 failed on connection exception: java.net.ConnectException: Connection refused: no further information; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
at sun.reflect.NativeConstructorAccessorImpl.newInstance(Unknown Source)
at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(Unknown Source)
at java.lang.reflect.Constructor.newInstance(Unknown Source)
at org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:732)
at org.apache.hadoop.ipc.Client.call(Client.java:1480)
at org.apache.hadoop.ipc.Client.call(Client.java:1407)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229)
at com.sun.proxy.$Proxy9.getBlockLocations(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations(ClientNamenodeProtocolTranslatorPB.java:255)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)
at java.lang.reflect.Method.invoke(Unknown Source)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at com.sun.proxy.$Proxy10.getBlockLocations(Unknown Source)
at org.apache.hadoop.hdfs.DFSClient.callGetBlockLocations(DFSClient.java:1237)
at org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1224)
at org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:1212)
at org.apache.hadoop.hdfs.DFSInputStream.fetchLocatedBlocksAndGetLastBlockLength(DFSInputStream.java:303)
at org.apache.hadoop.hdfs.DFSInputStream.openInfo(DFSInputStream.java:269)
at org.apache.hadoop.hdfs.DFSInputStream.<init>(DFSInputStream.java:261)
at org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:1537)
at org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:303)
at org.apache.hadoop.hdfs.DistributedFileSystem$3.doCall(DistributedFileSystem.java:299)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:299)
at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:767)
at test.HdfsOperate.readFile(HdfsOperate.java:105)
at test.HdfsOperate.main(HdfsOperate.java:128)
Caused by: java.net.ConnectException: Connection refused: no further information
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)
at sun.nio.ch.SocketChannelImpl.finishConnect(Unknown Source)
at org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495)
at org.apache.hadoop.ipc.Client$Connection.setupConnection(Client.java:609)
at org.apache.hadoop.ipc.Client$Connection.setupIOstreams(Client.java:707)
at org.apache.hadoop.ipc.Client$Connection.access$2800(Client.java:370)
at org.apache.hadoop.ipc.Client.getConnection(Client.java:1529)
at org.apache.hadoop.ipc.Client.call(Client.java:1446)
... 25 more
-
采用ycsb远程测试Hbase，出现No FileSystem for scheme:hdfs
- 当采用ycsb进行远程测试Hbase的时候，会出现
java.io.IOException: No FileSystem for scheme: hdfs,
如何避免，请大家踊跃给出解决方案。
-
终于明白阿里百度这样的大公司，为什么面试经常拿ThreadLocal考验求职者了
- 点击上面↑「爱开发」关注我们每晚10点，捕获技术思考和创业资源洞察什么是ThreadLocalThreadLocal是一个本地线程副本变量工具类，各个线程都拥有一份线程私...
-
《奇巧淫技》系列-python！！每天早上八点自动发送天气预报邮件到QQ邮箱
- 将代码部署服务器，每日早上定时获取到天气数据，并发送到邮箱。
也可以说是一个小人工智障。
思路可以运用在不同地方，主要介绍的是思路。
-
加快推动区块链技术和产业创新发展，2019可信区块链峰会在京召开
- 11月8日，由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划联合主办，科技行者协办的2019可信区块链峰会将在北京悠唐皇冠假日酒店开幕。
区块链技术被认为是继蒸汽机、电力、互联网之后，下一代颠覆性的核心技术。如果说蒸汽机释放了人类的生产力，电力解决了人类基本的生活需求，互联网彻底改变了信息传递的方式，区块链作为构造信任的技术有重要的价值。
1...
-
阿里面试官问我：如何设计秒杀系统？我的回答让他比起大拇指
- 你知道的越多，你不知道的越多
点赞再看，养成习惯
GitHub上已经开源 https://github.com/JavaFamily 有一线大厂面试点脑图和个人联系方式，欢迎Star和指教
前言
Redis在互联网技术存储方面使用如此广泛，几乎所有的后端技术面试官都要在Redis的使用和原理方面对小伙伴们进行360°的刁难。
作为一个在互联网公司面一次拿一次Offer的面霸，打败了...
-
C语言魔塔游戏
- 很早就很想写这个，今天终于写完了。
游戏截图：
编译环境: VS2017
游戏需要一些图片，如果有想要的或者对游戏有什么看法的可以加我的QQ 2985486630 讨论，如果暂时没有回应，可以在博客下方留言，到时候我会看到。
下面我来介绍一下游戏的主要功能和实现方式
首先是玩家的定义，使用结构体，这个名字是可以自己改变的
struct gamerole
{
char n...
-
面试官问我：什么是消息队列？什么场景需要他？用了会出现什么问题？
- 你知道的越多，你不知道的越多
点赞再看，养成习惯
GitHub上已经开源 https://github.com/JavaFamily 有一线大厂面试点脑图、个人联系方式和人才交流群，欢迎Star和完善
前言
消息队列在互联网技术存储方面使用如此广泛，几乎所有的后端技术面试官都要在消息队列的使用和原理方面对小伙伴们进行360°的刁难。
作为一个在互联网公司面一次拿一次Offer的面霸...
-
Android性能优化(4)：UI渲染机制以及优化
- 文章目录1. 渲染机制分析1.1 渲染机制1.2 卡顿现象1.3 内存抖动2. 渲染优化方式2.1 过度绘制优化2.1.1 Show GPU overdraw2.1.2 Profile GPU Rendering2.2 卡顿优化2.2.1 SysTrace2.2.2 TraceView
在从Android 6.0源码的角度剖析View的绘制原理一文中，我们了解到View的绘制流程有三个步骤，即m...
-
微服务中的Kafka与Micronaut
- 今天，我们将通过Apache Kafka主题构建一些彼此异步通信的微服务。我们使用Micronaut框架，它为与Kafka集成提供专门的库。让我们简要介绍一下示例系统的体系结构。我们有四个微型服务：订单服务，行程服务，司机服务和乘客服务。这些应用程序的实现非常简单。它们都有内存存储，并连接到同一个Kafka实例。
我们系统的主要目标是为客户安排行程。订单服务应用程序还充当网关。它接收来自客户的请求...
-
致 Python 初学者们！
- 作者| 许向武
责编 | 屠敏
出品 | CSDN 博客
前言
在 Python 进阶的过程中，相信很多同学应该大致上学习了很多 Python 的基础知识，也正在努力成长。在此期间，一定遇到了很多的困惑，对未来的学习方向感到迷茫。我非常理解你们所面临的处境。我从2007年开始接触 Python 这门编程语言，从2009年开始单一使用 Python 应对所有的开发工作，直至今...
-
究竟你适不适合买Mac？
- 我清晰的记得，刚买的macbook pro回到家，开机后第一件事情，就是上了淘宝网，花了500元钱，找了一个上门维修电脑的师傅，上门给我装了一个windows系统。。。。。。
表砍我。。。
当时买mac的初衷，只是想要个固态硬盘的笔记本，用来运行一些复杂的扑克软件。而看了当时所有的SSD笔记本后，最终决定，还是买个好（xiong）看（da）的。
已经有好几个朋友问我mba怎么样了，所以今天尽量客观...
-
程序员一般通过什么途径接私活？
- 二哥，你好，我想知道一般程序猿都如何接私活，我也想接，能告诉我一些方法吗？
上面是一个读者“烦不烦”问我的一个问题。其实不止是“烦不烦”，还有很多读者问过我类似这样的问题。
我接的私活不算多，挣到的钱也没有多少，加起来不到 20W。说实话，这个数目说出来我是有点心虚的，毕竟太少了，大家轻喷。但我想，恰好配得上“一般程序员”这个称号啊。毕竟苍蝇再小也是肉，我也算是有经验的人了。
唾弃接私活、做外...
-
字节跳动面试官这样问消息队列：分布式事务、重复消费、顺序消费，我整理了一下
- 你知道的越多，你不知道的越多
点赞再看，养成习惯
GitHub上已经开源 https://github.com/JavaFamily 有一线大厂面试点脑图、个人联系方式和人才交流群，欢迎Star和完善
前言
消息队列在互联网技术存储方面使用如此广泛，几乎所有的后端技术面试官都要在消息队列的使用和原理方面对小伙伴们进行360°的刁难。
作为一个在互联网公司面一次拿一次Offer的面霸...
-
Python爬虫爬取淘宝，京东商品信息
- 小编是一个理科生，不善长说一些废话。简单介绍下原理然后直接上代码。
使用的工具（Python+pycharm2019.3+selenium+xpath+chromedriver）其中要使用pycharm也可以私聊我selenium是一个框架可以通过pip下载
pip installselenium -ihttps://pypi.tuna.tsinghua.edu.cn/simple/
...
-
阿里程序员写了一个新手都写不出的低级bug，被骂惨了。
- 这种新手都不会范的错，居然被一个工作好几年的小伙子写出来，差点被当场开除了。
-
Java工作4年来应聘要16K最后没要,细节如下。。。
- 前奏：
今天2B哥和大家分享一位前几天面试的一位应聘者，工作4年26岁，统招本科。
以下就是他的简历和面试情况。
基本情况：
专业技能：
1、 熟悉Sping了解SpringMVC、SpringBoot、Mybatis等框架、了解SpringCloud微服务
2、 熟悉常用项目管理工具：SVN、GIT、MAVEN、Jenkins
3、 熟悉Nginx、tomca...
-
SpringBoot2.x系列教程（三十六）SpringBoot之Tomcat配置
- Spring Boot默认内嵌的Tomcat为Servlet容器，关于Tomcat的所有属性都在ServerProperties配置类中。同时，也可以实现一些接口来自定义内嵌Servlet容器和内嵌Tomcat等的配置。
关于此配置，网络上有大量的资料，但都是基于SpringBoot1.5.x版本，并不适合当前最新版本。本文将带大家了解一下最新版本的使用。
ServerProperties的部分源...
-
Python绘图，圣诞树，花，爱心 | Turtle篇
- 每周每日，分享Python实战代码，入门资料，进阶资料，基础语法，爬虫，数据分析，web网站，机器学习，深度学习等等。
公众号回复【进群】沟通交流吧，QQ扫码进群学习吧
微信群 QQ群
1.画圣诞树
import turtle
screen = turtle.Screen()
screen.setup(800,600)
circle = turtle.Turtle()...
-
作为一个程序员，CPU的这些硬核知识你必须会！
- CPU对每个程序员来说，是个既熟悉又陌生的东西？
如果你只知道CPU是中央处理器的话，那可能对你并没有什么用，那么作为程序员的我们，必须要搞懂的就是CPU这家伙是如何运行的，尤其要搞懂它里面的寄存器是怎么一回事，因为这将让你从底层明白程序的运行机制。
随我一起，来好好认识下CPU这货吧
把CPU掰开来看
对于CPU来说，我们首先就要搞明白它是怎么回事，也就是它的内部构造，当然，CPU那么牛的一个东...
-
破14亿，Python分析我国存在哪些人口危机！
- 一、背景
二、爬取数据
三、数据分析
1、总人口
2、男女人口比例
3、人口城镇化
4、人口增长率
5、人口老化（抚养比）
6、各省人口
7、世界人口
四、遇到的问题
遇到的问题
1、数据分页，需要获取从1949-2018年数据，观察到有近20年参数：LAST20，由此推测获取近70年的参数可设置为：LAST70
2、2019年数据没有放上去，可以手动添加上去
3、将数据进行 行列转换
4、列名...
-
听说想当黑客的都玩过这个Monyer游戏（1~14攻略）
- 第零关
进入传送门开始第0关（游戏链接）
请点击链接进入第1关： 连接在左边→ ←连接在右边
看不到啊。。。。（只能看到一堆大佬做完的留名，也能看到菜鸡的我，在后面~~）
直接fn+f12吧
<span>连接在左边→</span>
<a href="first.php"></a>
<span>←连接在右边</span>
o...
-
在家远程办公效率低？那你一定要收好这个「在家办公」神器！
- 相信大家都已经收到国务院延长春节假期的消息，接下来，在家远程办公可能将会持续一段时间。
但是问题来了。远程办公不是人在电脑前就当坐班了，相反，对于沟通效率，文件协作，以及信息安全都有着极高的要求。有着非常多的挑战，比如：
1在异地互相不见面的会议上，如何提高沟通效率？
2文件之间的来往反馈如何做到及时性？如何保证信息安全？
3如何规划安排每天工作，以及如何进行成果验收？
......
...
-
作为一个程序员，内存和磁盘的这些事情，你不得不知道啊！！！
- 截止目前，我已经分享了如下几篇文章：
一个程序在计算机中是如何运行的？超级干货！！！
作为一个程序员，CPU的这些硬核知识你必须会！
作为一个程序员，内存的这些硬核知识你必须懂！
这些知识可以说是我们之前都不太重视的基础知识，可能大家在上大学的时候都学习过了，但是嘞，当时由于老师讲解的没那么有趣，又加上这些知识本身就比较枯燥，所以嘞，大家当初几乎等于没学。
再说啦，学习这些，也看不出来有什么用啊！...
-
这个世界上人真的分三六九等，你信吗？
- 偶然间，在知乎上看到一个问题
一时间，勾起了我深深的回忆。
以前在厂里打过两次工，做过家教，干过辅导班，做过中介。零下几度的晚上，贴过广告，满脸、满手地长冻疮。
再回首那段岁月，虽然苦，但让我学会了坚持和忍耐。让我明白了，在这个世界上，无论环境多么的恶劣，只要心存希望，星星之火，亦可燎原。
下文是原回答，希望能对你能有所启发。
如果我说，这个世界上人真的分三六九等，...
-
2020年全新Java学习路线图，含配套视频，学完即为中级Java程序员！！
- 新的一年来临，突如其来的疫情打破了平静的生活！
在家的你是否很无聊，如果无聊就来学习吧！
世上只有一种投资只赚不赔，那就是学习！！！
传智播客于2020年升级了Java学习线路图，硬核升级，免费放送！
学完你就是中级程序员，能更快一步找到工作！
一、Java基础
JavaSE基础是Java中级程序员的起点，是帮助你从小白到懂得编程的必经之路。
在Java基础板块中有6个子模块的学...
-
B 站上有哪些很好的学习资源?
- 哇说起B站，在小九眼里就是宝藏般的存在，放年假宅在家时一天刷6、7个小时不在话下，更别提今年的跨年晚会，我简直是跪着看完的！！
最早大家聚在在B站是为了追番，再后来我在上面刷欧美新歌和漂亮小姐姐的舞蹈视频，最近两年我和周围的朋友们已经把B站当作学习教室了，而且学习成本还免费，真是个励志的好平台ヽ(.◕ฺˇд ˇ◕ฺ;)ﾉ
下面我们就来盘点一下B站上优质的学习资源：
综合类
Oeasy：
综合...
-
爬取薅羊毛网站百度云资源
- 这是疫情期间无聊做的爬虫，
去获取暂时用不上的教程
import threading
import time
import pandas as pd
import requests
import re
from threading import Thread, Lock
# import urllib.request as request
# req=urllib.request.Requ...
-
如何优雅地打印一个Java对象？
- 你好呀，我是沉默王二，一个和黄家驹一样身高，和刘德华一样颜值的程序员。虽然已经写了十多年的 Java 代码，但仍然觉得自己是个菜鸟（请允许我惭愧一下）。
在一个月黑风高的夜晚，我思前想后，觉得再也不能这么蹉跎下去了。于是痛下决心，准备通过输出的方式倒逼输入，以此来修炼自己的内功，从而进阶成为一名真正意义上的大神。与此同时，希望这些文章能够帮助到更多的读者，让大家在学习的路上不再寂寞、空虚和冷。
...
-
雷火神山直播超两亿，Web播放器事件监听是怎么实现的？
- Web播放器解决了在手机浏览器和PC浏览器上播放音视频数据的问题，让视音频内容可以不依赖用户安装App，就能进行播放以及在社交平台进行传播。在视频业务大数据平台中，播放数据的统计分析非常重要，所以Web播放器在使用过程中，需要对其内部的数据进行收集并上报至服务端，此时，就需要对发生在其内部的一些播放行为进行事件监听。
那么Web播放器事件监听是怎么实现的呢？
01 监听事件明细表
名...
-
3万字总结，Mysql优化之精髓
- 本文知识点较多，篇幅较长，请耐心学习
MySQL已经成为时下关系型数据库产品的中坚力量，备受互联网大厂的青睐，出门面试想进BAT，想拿高工资，不会点MySQL优化知识，拿offer的成功率会大大下降。
为什么要优化
系统的吞吐量瓶颈往往出现在数据库的访问速度上
随着应用程序的运行，数据库的中的数据会越来越多，处理时间会相应变慢
数据是存放在磁盘上的，读写速度无法和内存相比
如何优化
设计...
-
HTML5适合的情人节礼物有纪念日期功能
- 前言
利用HTML5，css，js实现爱心树 以及 纪念日期的功能 网页有播放音乐功能 以及打字倾诉感情的画面，非常适合情人节送给女朋友
具体的HTML代码
具体只要修改代码里面的男某某和女某某 文字段也可自行修改，还有代码下半部分的JS代码需要修改一下起始日期 注意月份为0~11月 也就是月份需要减一。
当然只有一部分HTML和JS代码不够运行的，文章最下面还附加了完整代码的下载地址
<!...
-
相关热词
c# 为空 判断 委托
c#记事本颜色
c# 系统默认声音
js中调用c#方法参数
c#引入dll文件报错
c#根据名称实例化
c#从邮件服务器获取邮件
c# 保存文件夹
c#代码打包引用
c# 压缩效率
