假设副本数设置的为3。当一个客户端向集群上传数据的时候，假设数据流管道中的datanode的编号
为dn1,dn2,dn3。假设现在数据流管道中传输的packet编号为2，我们知道验证的数据包的校验和为最后一个节点，那么之前上游的数据节点是在收到ack之前将packet写入磁盘，还是在收到ack之后再写入磁盘？？？
如果最后一个节点校验出错，那上游节点写入磁盘的数据怎么办，删除吗
HDFS 中 客户端向datanode写数据问题
- 写回答
- 好问题 0 提建议
- 关注问题
分享- 邀请回答
-
2条回答 默认 最新
- 2020-02-13 19:47炼丹师666的博客 如果向DataNode写入数据失败了怎么办？ 如果这种情况发生，那么就会执行一些操作： ① Pipeline数据流管道会被关闭，ACK queue中的packets会被添加到data queue的前面以确保不会发生packets数据包的丢失 ② 在正常的...
- 2024-05-08 08:43DrKYQ的博客 2、namenode通过secondarynamenode存储的元数据，去定位datanode。5、客户端请求dn1调用数据，d1收到请求会继续调用d2，d2调用d3，将通信...1、客户端向namenode发送请求写入数据，2、namenode检查是否存在，可以上传，
- 2024-04-29 18:19文刀小桂的博客 【代码】HDFS 中 NameNode、DataNode 和 SecondaryNameNode 的工作机制。
- 2019-06-23 22:14鱼鱼大头鱼的博客 一、概述 1. 在存储数据的数据会将数据进行切分，切出来的每一个块称之为是一个Block ...4. NameNode和DataNode是Hadoop中的进程，只是实际使用过程中，会将NameNode以及DataNode部署在不同的节点（服务...
- 2019-08-17 19:45我是玄离大人的博客 NameNode作用 NameNode在内存中保存着整个文件系统的名称空间和文件数据块的地址映射 ...以及列表中的块与块所在的DataNode之间的地址映射关系 在内存中加载文件系统中每个文件和每个数据块的引用关系(文件,blo...
- 2023-09-18 19:18读取流程包括：客户端向服务器端要数据、NameNode先校验权限、接着从自己的内存中查看这个文件分别存储在哪些节点上，将这个信息告知Client、Client客户端拿到元数据之后，去各个节点上拉去数据、将拉去的各个块的...
- 2024-04-29 17:08CHANGSHENG888x的博客 主进程是NameNode，从进程是DataNodeHDFS会对上传的每一个文件进行切块处理，切出来的每一个数据块称之为是一个BlockHDFS会对存储的每一个Block进行备份，称之为副本(replication/replicas)。默认情况下，副本数量为...
- 2024-10-21 10:22主要包括HDFS的架构、组成（NameNode、DataNode）、数据存储、复制与故障恢复机制、客户端交互方式、权限管理、操作流程、性能与扩展性等方面的内容。通过这些问题可以全面理解和掌握HDFS的设计原理及其实际应用中的...
- 2022-12-13 21:22HDFS选择分布式CAP定理的可靠性AP是因为，假设客户端向HDFS传输一段数据还要同步等待网络上所有副本节点的复制接收完成，虽然这么做数据完整性很高，保证了分布式复制的一致性（CP）。但是客户端写入过程如果等待...
- 2020-08-17 11:55大数据知识搬运工的博客 （1）客户端通过调用FIleSystem对象的open()方法来打开希望读取的文件，对于hdfs来说，这个对象是分布式文件系统的一个实例。 （2）DistributedFileSystem通过使用PRC（远程方法调用）来调用namenode，以确定文件...
- 没有解决我的问题, 去提问
