Map Reduce换符案例

Question

打开 ZZ052-8-M2-T3-SUBT2 文件夹，文件夹中包含

user_info.csv 文件。user_info.csv 文件存储了电商互联
网平台上收集的用户数据，数据中有以下内容：
id：主键非空，bigint 类型，长度为 20
login_name：用户名，varchar 类型，长度 200
nick_name：用户昵称，varchar 类型，长度 200
passwd：密码，varchar 类型，长度 200
name：姓名，varchar 类型，长度 200
phone_num:手机号，varchar 类型，长度 200
email:邮箱，varchar 类型，长度 200
head_img:头像，varchar 类型，长度 200
user_level:用户级别，varchar 类型，长度 200
birthday:用户生日，date 类型，长度 0，格式为
YYYY-MM-DD
gender:性别，varchar 类型，长度 1
create_time: 创 建 时 间 ， datetime 类 型 ， 格 式 为
yyyy-MM-dd HH:mm:ss
operate_time: 修改时间， datetime 类型，格式为
yyyy-MM-dd HH:mm:ss
编 写 MapReduce 程 序 ， 实 现 以 下 功 能 ： 将
user_info.csv 数据的分隔符“，”转换为“|”，输出文件到
HDFS，然后在控制台按顺序打印输出前 10 条数据

Answer 1

以下内容由CHATGPT及阿里嘎多学长共同生成、有用望采纳：

---

【您想要解决的问题】： 您提问的目的是希望解决如何使用MapReduce编程模型来处理一个CSV文件，具体任务是将文件中的数据分隔符从“，”转换为“|”，并将转换后的数据存储到Hadoop分布式文件系统（HDFS）中。此外，还需要从HDFS中读取转换后的数据，并在控制台中按顺序打印输出前10条数据。

【问题出现原因】： 这个问题通常出现在数据处理和大数据处理的背景下，当需要对大规模数据集进行格式转换或数据清洗时，MapReduce提供了一种有效的解决方案。由于MapReduce能够并行处理数据，它适用于处理存储在HDFS上的大规模数据集。

【问题解决方案】： 要解决这个问题，需要编写一个MapReduce程序，该程序包含一个Mapper类和一个Reducer类。Mapper负责读取输入的CSV文件，并将分隔符从“，”替换为“|”。Reducer可以简单地接收Mapper的输出并将其写入到HDFS中。由于任务只需要转换分隔符，实际上Reducer的作用可能并不明显，但在这个场景中，它可以用来触发写入HDFS的操作。

【提供代码】： 以下是MapReduce程序的示例代码，用于实现上述功能：

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class SymbolChangeMapReduce {

    public static class SymbolChangeMapper extends Mapper<LongWritable, Text, Text, Text> {
        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            String line = value.toString();
            String newLine = line.replace(",", "|");
            context.write(new Text(), new Text(newLine));
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "Symbol Change");
        job.setJarByClass(SymbolChangeMapReduce.class);
        job.setMapperClass(SymbolChangeMapper.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        job.setNumReduceTasks(0); // 由于不需要reduce，设置reduce任务数为0

        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));

        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

【代码运行方式】：

1. 确保你的开发环境已经安装了Java和Hadoop。
2. 将上述代码保存为SymbolChangeMapReduce.java。
3. 编译并打包这个Java程序为一个JAR文件。
4. 使用Hadoop命令行工具运行这个JAR文件，例如：

   hadoop jar SymbolChangeMapReduce.jar SymbolChangeMapReduce /input/path /output/path
   

   其中/input/path是包含user_info.csv的HDFS路径，/output/path是输出结果的HDFS路径。

【代码预期运行结果】： 运行上述MapReduce程序后，HDFS上的/output/path目录将包含转换后的数据文件，分隔符由“，”变为“|”。然后，您可以使用Hadoop的文件系统命令（如hadoop fs -cat）来查看输出文件中的前10条数据。

【推荐相关链接】：

• Hadoop官方文档
• MapReduce编程模型
• HDFS命令行工具