hdfs上创建的目录第二次打开会消失

Question

执行图片上的操作后，创建的目录和文件都不见了，在此之前已经运行过start-dfs.sh

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

从你的问题描述来看，你在Hadoop分布式文件系统（HDFS）上创建的目录和文件在执行某些操作后消失了。这个问题可能由以下几个原因造成：

1. 容器重启导致数据丢失：你使用了Docker来运行Hadoop，并且在运行过程中重启了Docker容器（通过docker-compose down和docker-compose up -d）。这可能是造成数据丢失的主要原因。Docker容器的运行是短暂的，每次容器停止并重新启动后，其中的数据会丢失。如果你的HDFS数据存储在容器内的某个位置，那么重启容器后这些数据会丢失。
2. HDFS权限问题：在执行操作的过程中，可能存在权限问题导致文件或目录被意外删除或不可见。你需要检查执行操作的用户是否具有正确的权限。
3. 文件系统同步问题：在分布式文件系统中，可能存在不同节点之间的文件系统同步问题。这可能导致在某些节点上看不到文件或目录。

为了解决这个问题，你可以尝试以下步骤：

1. 确认数据存储位置：确保HDFS上的数据存储在持久化的存储介质上，而不是仅仅存储在Docker容器中。如果数据存储在容器内，考虑将数据持久化到宿主机上的某个目录，并配置Hadoop以使用该目录。
2. 检查权限：确保执行操作的用户具有足够的权限来访问和修改HDFS上的文件或目录。
3. 检查HDFS状态：检查HDFS集群的状态，确保所有节点正常运行并且同步。
4. 重新创建数据：如果数据确实丢失，你可能需要重新创建丢失的文件或目录。

总之，要解决这个问题，你需要确保数据的持久性，检查权限问题，并确保HDFS集群的正常运行。如果问题仍然存在，可能需要更深入地检查Hadoop和Docker的配置以及日志文件以找出问题的根源。