Gilgamesh_02 2021-11-21 23:47 采纳率: 50%
浏览 46

HDFS的流水线复制策略一个DataNode存多大数据?

在分布式文件系统HDFS的数据复制流水线策略中,有描述说NameNode返回一个DataNode列表给客户端,客户端开始向第一个DataNode写数据,然后“当数据节点接收到4KB的数据后就写入本地并把4KB数据和列表传给第二个数据节点”,这里4KB什么意思啊?是设置的默认值吗,为什么一个数据节点只存4KB的数据,文件块的大小不是默认64M或者128M吗?

  • 写回答

1条回答 默认 最新

  • 陈猿解码 2021-11-26 08:28
    关注

    这是哪里看到的4KB?
    HDFS的数据传输是以packet为单位进行传输的, 每个packet里面又由多个chunk组成,chunk大小默认为512字节,而packet大小应该是64KB
    详细可参考(https://blog.csdn.net/hncscwc/article/details/119467272
    另外,写流程可参考(https://blog.csdn.net/hncscwc/article/details/119467272

    评论

报告相同问题?

问题事件

  • 创建了问题 11月21日

悬赏问题

  • ¥15 关于#java#的问题,请各位专家解答!
  • ¥15 急matlab编程仿真二阶震荡系统
  • ¥20 TEC-9的数据通路实验
  • ¥15 ue5 .3之前好好的现在只要是激活关卡就会崩溃
  • ¥50 MATLAB实现圆柱体容器内球形颗粒堆积
  • ¥15 python如何将动态的多个子列表,拼接后进行集合的交集
  • ¥20 vitis-ai量化基于pytorch框架下的yolov5模型
  • ¥15 如何实现H5在QQ平台上的二次分享卡片效果?
  • ¥30 求解达问题(有红包)
  • ¥15 请解包一个pak文件