Hadoop实训有谁会做有尝

Question

2.数据分析
使用 Hadoop 生态系统中的工具（如 MapReduce、Hive、HBase、Spark 等）对数据进行处理和分析。具体任务包括：
（1）将数据集加载到HDFS平台。
（2）使用 MapReduce、Hive 等工具，至少实现以下查询和分析任务：
• 对某一字段的数据进行排序。
• 查询某一字段的最大值或最小值.
• 计算某一字段的平均值。
•可针对数据集的实际情况，计算或查询更为丰富的内容。
完成后将原始数据及操作结果截图，并文字说明你的操作完成的是上述的哪些任务。

Answer 1

引自免费微信小程序：皆我百晓生

为解决你在Hadoop实训中遇到的问题，这里将详细介绍如何使用Hadoop生态系统中的工具进行数据处理与分析。我们将分步骤地探讨如何将数据加载至HDFS，以及如何利用MapReduce、Hive等工具执行数据排序、查找最大/最小值、计算平均值等任务。

第一步：将数据集加载到HDFS

首先，确保你的Hadoop环境已正确配置。使用hadoop fs -ls /命令检查HDFS是否正常工作。接着，通过以下命令将本地数据上传至HDFS：

hadoop fs -put local/path/to/data.txt /user/hadoop/

这里的local/path/to/data.txt应替换为你的本地文件路径，而/user/hadoop/是HDFS上的目标目录。

第二步：使用MapReduce进行数据处理

1. 数据排序

为了演示数据排序，我们创建一个简单的MapReduce作业。这里提供一个Java示例代码，假设你想根据某字段排序数据。

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

public class SortData {

    public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {
        private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();

        public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
            String[] fields = value.toString().split(",");
            word.set(fields[0]); // 假设你想按第一个字段排序
            context.write(word, one);
        }
    }

    public static class IntSumReducer extends Reducer<Text, IntWritable, Text, IntWritable> {
        private IntWritable result = new IntWritable();

        public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
            int sum = 0;
            for (IntWritable val : values) {
                sum += val.get();
            }
            result.set(sum);
            context.write(key, result);
        }
    }

    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf, "sort data");
        job.setJarByClass(SortData.class);
        job.setMapperClass(TokenizerMapper.class);
        job.setCombinerClass(IntSumReducer.class);
        job.setReducerClass(IntSumReducer.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        FileInputFormat.addInputPath(job, new Path(args[0]));
        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

编译并运行这个程序，确保你的输入和输出路径正确。

2. 查找最大/最小值

对于查找最大值或最小值，可以稍微修改上面的代码，使用自定义的比较器和Reducer来实现。

3. 计算平均值

同样，基于MapReduce计算平均值需要稍微调整Mapper和Reducer逻辑，例如在Reducer中累积总和和计数，然后在最后阶段计算平均值。

第三步：使用Hive进行数据分析

Hive是一个数据仓库工具，它提供了SQL-like的查询语言HQL，使得在Hadoop上进行复杂的数据分析变得容易。

设置Hive表

CREATE TABLE IF NOT EXISTS mydata (
    id INT,
    name STRING,
    age INT
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS TEXTFILE;

加载数据

LOAD DATA INPATH '/user/hadoop/data.txt' INTO TABLE mydata;

执行查询

• 排序:

  SELECT * FROM mydata ORDER BY age;
  

• 最大值/最小值:

  SELECT MAX(age), MIN(age) FROM mydata;
  

• 平均值:

  SELECT AVG(age) FROM mydata;
  

确保你已经根据实际数据集调整了表结构和字段类型。

完成这些步骤后，你可以将原始数据和操作结果进行截图，并用文字描述你完成的任务。这将有助于展示你对Hadoop生态系统中工具的掌握程度。