在分布式文件系统HDFS的数据复制流水线策略中,有描述说NameNode返回一个DataNode列表给客户端,客户端开始向第一个DataNode写数据,然后“当数据节点接收到4KB的数据后就写入本地并把4KB数据和列表传给第二个数据节点”,这里4KB什么意思啊?是设置的默认值吗,为什么一个数据节点只存4KB的数据,文件块的大小不是默认64M或者128M吗?
1条回答 默认 最新
- 陈猿解码 2021-11-26 08:28关注
这是哪里看到的4KB?
HDFS的数据传输是以packet为单位进行传输的, 每个packet里面又由多个chunk组成,chunk大小默认为512字节,而packet大小应该是64KB
详细可参考(https://blog.csdn.net/hncscwc/article/details/119467272
另外,写流程可参考(https://blog.csdn.net/hncscwc/article/details/119467272解决 无用评论 打赏 举报
悬赏问题
- ¥15 关于#java#的问题,请各位专家解答!
- ¥15 急matlab编程仿真二阶震荡系统
- ¥20 TEC-9的数据通路实验
- ¥15 ue5 .3之前好好的现在只要是激活关卡就会崩溃
- ¥50 MATLAB实现圆柱体容器内球形颗粒堆积
- ¥15 python如何将动态的多个子列表,拼接后进行集合的交集
- ¥20 vitis-ai量化基于pytorch框架下的yolov5模型
- ¥15 如何实现H5在QQ平台上的二次分享卡片效果?
- ¥30 求解达问题(有红包)
- ¥15 请解包一个pak文件