Map Reduce三级分类案例

Question

打开 ZZ052-8-M2-T3-SUBT3 文件夹，文件夹中包含
sku_info.csv 文件。sku_info.csv 文件存储了电商互联网
平台上收集的商品数据，数据中有以下内容：
id：主键非空，bigint 类型，长度为 20
spu_id：spuId，varchar 类型，长度 20
price：价格，decimal 类型，长度 10
sku_name：商品名称，varchar 类型，长度 200
sku_desc：商品描述，varchar 类型，长度 2000
weight:重量，decimal 类型，长度 10
tm_id:品牌，bigint 类型，长度 20
category3_id:三级分类，bigint 类型，长度 20
sku_default_img:默认显示图片，varchar 类型，长度
200
编写 MapReduce 程序，实现以下功能：三级分类
category3_id 范围为[1,10],1 表示最低级别，10 表示最高
级别。本任务遍历 sku_info.csv 中数据，统计字段“三级
分类”级别为“10”最高级别的商品数量

Answer 1

以下内容由CHATGPT及阿里嘎多学长共同生成、有用望采纳：

---

【您想要解决的问题】：您提问的目的是要编写一个MapReduce程序，用于处理存储在sku_info.csv文件中的电商商品数据。具体来说，您需要实现的功能是统计在三级分类category3_id中级别为“10”的最高级别商品的数量。

【问题出现原因】：这个问题出现的原因是您需要对大规模的数据集进行处理，而MapReduce是一种适合于处理和生成大规模数据集的编程模型。由于sku_info.csv文件中的数据量可能很大，单机处理可能效率不高或存在性能瓶颈，因此需要使用MapReduce这样的分布式计算框架来提高处理速度和扩展性。

【问题解决方案】：为了解决这个问题，您需要编写一个MapReduce程序，该程序应该包含一个Map任务和一个Reduce任务。Map任务负责读取sku_info.csv文件中的每一行数据，检查category3_id字段是否为“10”，并将符合条件的数据传递给Reduce任务。Reduce任务则负责对所有Map任务传递过来的数据进行汇总，计算出最高级别商品的总数。

【提供代码】：以下是一个简单的MapReduce程序示例，用于解决您的问题。请注意，这只是一个示例，您可能需要根据实际环境和需求进行调整。

// Mapper类
public static class TokenizerMapper
        extends Mapper<Object, Text, Text, IntWritable>{

    private Text category = new Text();
    private IntWritable one = new IntWritable(1);
    
    public void map(Object key, Text value, Context context
                    ) throws IOException, InterruptedException {
        String[] parts = value.toString().split(",");
        if(parts.length > 7 && parts[7].equals("10")){
            category.set(parts[7]);
            context.write(category, one);
        }
    }
}

// Reducer类
public static class IntSumReducer
       extends Reducer<Text,IntWritable,Text,IntWritable> {
    private IntWritable result = new IntWritable();

    public void reduce(Text key, Iterable<IntWritable> values,
                       Context context
                       ) throws IOException, InterruptedException {
        int sum = 0;
        for (IntWritable val : values) {
            sum += val.get();
        }
        result.set(sum);
        context.write(key, result);
    }
}

// 主程序
public static void main(String[] args) throws Exception {
    Configuration conf = new Configuration();
    Job job = Job.getInstance(conf, "Count of high level products");
    job.setJarByClass(WordCount.class);
    job.setMapperClass(TokenizerMapper.class);
    job.setCombinerClass(IntSumReducer.class);
    job.setReducerClass(IntSumReducer.class);
    job.setOutputKeyClass(Text.class);
    job.setOutputValueClass(IntWritable.class);
    FileInputFormat.addInputPath(job, new Path(args[0]));
    FileOutputFormat.setOutputPath(job, new Path(args[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
}

【代码运行方式】：要运行上述代码，您需要以下环境和步骤：

1. Hadoop环境：确保您的系统已经安装并配置了Hadoop。
2. 编译：使用Java编译器编译上述Java代码。
3. 打包：将编译后的类文件打包成一个JAR文件。
4. 运行：使用Hadoop命令行工具运行MapReduce作业，例如：

   hadoop jar YourMapReduceJar.jar WordCount /input/path /output/path
   

   其中YourMapReduceJar.jar是您的JAR文件名，/input/path是输入文件sku_info.csv的HDFS路径，/output/path是输出结果的HDFS路径。

【代码预期运行结果】： 如果代码运行成功，您将在指定的输出路径下得到一个文件，其中包含了最高级别商品的数量。

【推荐相关链接】：

1. Hadoop官方文档
2. MapReduce编程模型
3. Hadoop入门教程