hadoop3.0.0不会生成_success文件吗

Question

如题。hadoop3.0.0不会生成_success文件吗？？？？？？？？？？？？？？？？？

Answer 1

以下回答参考 皆我百晓生、券券喵儿 等免费微信小程序相关内容作答，并由本人整理回复。

在Hadoop 3.0中，success 文件是由 Hadoop 的 fs.sh``脚本自动创建的。这个脚本负责处理数据写入到磁盘的过程，并将成功写入的数据记录到一个叫做 SUCCESS` 的文件中。

如果你使用的是Hadoop 2.x版本或者更高版本，那么确实不会直接生成一个 SUCCESS 文件。但是，Hadoop 2.x版本有一个名为 JobClient 的类，它会提供一个方法来检查任务是否成功完成。

以下是一个简单的示例：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;

public class CheckSuccess {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Path path = new Path(args[0]);

        boolean success = JobClient.waitForCompletion(path, true);

        if (success) {
            System.out.println("Job completed successfully.");
        } else {
            System.err.println("Job failed.");
        }
    }
}

在这个例子中，我们首先创建了一个配置对象，然后创建了一个路径对象。然后，我们调用 waitForCompletion 方法来等待任务的完成。如果任务成功完成，那么 waitForCompletion 方法会返回 true，否则会返回 false。

请注意，这只是一个基本的例子，实际使用时可能需要根据你的具体需求进行调整。