合并HDFS中的文件

Question

读取文件 FileSystemCat.java 和 FileSystemPut.java 中提供的分析 HDFS 应用程序
使用应用程序 FileSystemCat.java 和 FileSystemPut.java 在 Java HDFS 应用程序中实现，该应用程序将位于
HDFS 中的两个文件合并为同样位于 HDFS 中的一个文件。
应用程序必须具有以下参数。
(1) HDFS 中第一个输入文件的路径和名称。
(2) HDFS 中第二个输入文件的路径和名称。
(3) 要在 HDFS 中创建的输出文件的路径和新名称。该文件应该包含第一个输入文件的内容，后跟第二个输入文件的内
容。
实现应用程序并将其源代码保存在文件solution1.java中。
上传两个文件到HDFS。 HDSF 中文件的内容、名称和位置由您决定。
准备就绪后，编译、创建 jar 文件并处理您的应用程序。显示应用程序创建的结果。
使用Hadoop提供证据，上传到HDFS的两个文件已成功合并为HDFS中的一个文件。
文件solution1.txt，其中包含应用程序源代码列表、编译报告、jar 文件创建、上传到 HDFS 的两个小文件进行测试、
HDFS 中这两个文件的列表、应用程序的处理以及证明上传到 HDFS 的两个文件已成功合并为 HDFS 中的一个文件。
必须通过将终端窗口的内容复制/粘贴到文件solution1.txt 中来创建文件solution1.txt。

FileSystemCat.java：

// cc FileSystemCat Displays files from a Hadoop filesystem on standard output by using the FileSystem directly
//import java.io.InputStream;

import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.io.IOUtils;

// vv FileSystemCat
public class FileSystemCat {

    public static void main(String[] args) throws Exception {
        String uri = args[0];
        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(URI.create(uri), conf);
        FSDataInputStream in = null;

        Path path = new Path(uri);

        in = fs.open(path);
        IOUtils.copyBytes(in, System.out, 4096, true);

    }
}
// ^^ FileSystemCat

FileSystemPut.java is ：
import java.net.URI;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.io.IOUtils;


public class FileSystemPut {

    public static void main(String[] args) throws Exception {

        String localStr = args[0];
        String hdfsStr = args[1];

        Configuration conf = new Configuration();
        FileSystem local = FileSystem.getLocal(conf);
        FileSystem hdfs  = FileSystem.get(URI.create(hdfsStr), conf);

        Path localFile = new Path(localStr);
        Path hdfsFile = new Path(hdfsStr);

        FSDataInputStream in = local.open(localFile);
        FSDataOutputStream out = hdfs.create(hdfsFile);

        IOUtils.copyBytes(in, out, 4096, true);
    }
}

Answer 1

【以下回答由 GPT 生成】

首先，我们可以对两个文件分别使用FileSystemCat.java的代码进行读取，然后将读取到的内容写入一个新的文件中。以下是实现该功能的代码（在FileSystemPut.java的main方法中添加代码）：

public static void main(String[] args) throws Exception {
  String file1Path = args[0];  // 第一个文件的路径
  String file2Path = args[1];  // 第二个文件的路径
  String outputPath = args[2]; // 合并后文件的路径

  Configuration conf = new Configuration();
  FileSystem fs = FileSystem.get(URI.create(outputPath), conf);

  // 读取第一个文件的内容
  Path file1 = new Path(file1Path);
  FSDataInputStream in1 = fs.open(file1);
  byte[] buffer1 = new byte[4096];
  int bytesRead1 = in1.read(buffer1);

  // 读取第二个文件的内容
  Path file2 = new Path(file2Path);
  FSDataInputStream in2 = fs.open(file2);
  byte[] buffer2 = new byte[4096];
  int bytesRead2 = in2.read(buffer2);

  // 创建合并后的文件
  Path outputFile = new Path(outputPath);
  FSDataOutputStream out = fs.create(outputFile);

  // 写入第一个文件的内容
  out.write(buffer1, 0, bytesRead1);

  // 写入第二个文件的内容
  out.write(buffer2, 0, bytesRead2);

  // 关闭输入输出流
  IOUtils.closeStream(in1);
  IOUtils.closeStream(in2);
  IOUtils.closeStream(out);

  System.out.println("Merge complete.");
}

请确保在运行程序时提供正确的命令行参数，按顺序分别为第一个文件路径、第二个文件路径和合并后文件的路径。例如：

java FileSystemPut hdfs://localhost:9000/input/file1.txt hdfs://localhost:9000/input/file2.txt hdfs://localhost:9000/output/mergedFile.txt

注意：以上假设Hadoop已经正确安装和配置，并且文件已经存在于指定的HDFS路径中。如果文件不存在，程序将抛出异常。

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^