我想问一下，怎样用java实现将hdfs上的路径打个压缩包放在上面。注意是路径，不是文件。感谢各位大

Question

我想问一下，怎样用java实现将hdfs上的路径打个压缩包放在上面。注意是路径，不是文件。感谢各位大佬告知！！！

Answer 1

让阿豪来帮你解答，本回答参考chatgpt3.5编写提供，如果还有疑问可以评论或留言

为了将HDFS上的路径打包成压缩包并放回HDFS上，可以使用Java中的Hadoop API来实现。以下是一个示例代码：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.compress.CompressionCodec;
import org.apache.hadoop.io.compress.CompressionOutputStream;
import org.apache.hadoop.io.compress.CompressorStream;
import org.apache.hadoop.io.compress.GzipCodec;
import java.io.BufferedOutputStream;
import java.io.FileOutputStream;
public class HDFSCompression {
    public static void compressHDFSPath(Configuration conf, Path inputPath, Path outputPath, CompressionCodec codec) throws Exception {
        FileSystem fs = inputPath.getFileSystem(conf);
        FileStatus[] status = fs.listStatus(inputPath);
        FileOutputStream outputStream = new FileOutputStream(outputPath.toString());
        BufferedOutputStream bufferedOutputStream = new BufferedOutputStream(outputStream);
        CompressionOutputStream compressionOutputStream = codec.createOutputStream(bufferedOutputStream);
        for (FileStatus file : status) {
            IOUtils.copyBytes(fs.open(file.getPath()), compressionOutputStream, conf);
        }
        compressionOutputStream.finish();
        compressionOutputStream.close();
        bufferedOutputStream.close();
        outputStream.close();
    }
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Path inputPath = new Path("hdfs://localhost:9000/input");
        Path outputPath = new Path("hdfs://localhost:9000/output/compressed.tar.gz");
        CompressionCodec codec = new GzipCodec();
        compressHDFSPath(conf, inputPath, outputPath, codec);
    }
}

在上面的代码中，我们首先通过Hadoop的FileSystem API获取HDFS上路径下的所有文件信息，然后使用CompressionCodec创建一个压缩输出流，将所有文件逐个读取并写入到压缩输出流中，最后关闭所有流即可。在main方法中可以指定输入路径和输出路径以及压缩算法。