Mr 赛文 2022-08-22 18:57 采纳率: 100%
浏览 92
已结题

org.apache.hadoop.fs.Options$ChecksumCombineMode

救命

org.apache.hadoop.fs.Options$ChecksumCombineMode
MapReduce阶段不知道发生了什么,一直报这样一个错误,之前还能好好运行,突然就不行了

问题相关代码
package HW0820;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

import java.io.IOException;

public class clean {
    public static void main(String[] args) throws Exception {
        //        1.初始化配置
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS","hdfs://hadoop10:9000");
//        2.创建job
        Job job = Job.getInstance(conf);
        job.setJarByClass(clean.class);
        //3. 设置输入格式化工具和输出格式化
        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        //4. 设置输入路径和输出路径
        TextInputFormat.addInputPath(job,new Path("/day5/video"));
        TextOutputFormat.setOutputPath(job,new Path("/day5/clean"));
        //5. 设置mapper和reducer
        job.setMapperClass(MapClean.class);

        // 6. 设置mapper的kv类型和reducer的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);
        job.setNumReduceTasks(0);
        // 7. 启动job
        boolean b = job.waitForCompletion(true);
        System.out.println(b);

    }
    static class MapClean extends Mapper<LongWritable, Text,Text, NullWritable>{
        @Override
        protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, NullWritable>.Context context) throws IOException, InterruptedException {

                String replace = value.toString().replace(" ", "");
                String[] split = replace.split("\t", 10);
                String replace1 = split[split.length - 1].replace("\t", "&");
                String[] split1 = replace1.split("&");
                String spid="";
            for (int i = 0;i<20 && i < split1.length; i++) {

                if (i == split1.length-1) {
                    spid=spid+split1[i];
                }else {
                    spid=spid+split1[i]+"&";
                }

            }
                String a = "";
                for (int n=0;n<split.length-1;n++) {
                    a+=split[n]+",";
                }
                String all= a+ spid;
                context.write(new Text(all),NullWritable.get());
        }
    }
}


img

运行结果及报错内容

img

我的解答思路和尝试过的方法

试过重启、删除,拷贝别人的Maven阿帕奇下载的包都不行

  • 写回答

3条回答 默认 最新

  • 白鼠进击 2022-08-22 22:44
    关注

    img

    大概率就是这个依赖与其他依赖产生了冲突,题主试一下去pom文件中,更改一下配置,将这个配置删除,就OK了

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

问题事件

  • 系统已结题 8月31日
  • 已采纳回答 8月23日
  • 赞助了问题酬金10元 8月22日
  • 创建了问题 8月22日

悬赏问题

  • ¥60 GFSK两点调制锁相环simulink模型
  • ¥20 双非跨考工科哪个专业和方向就业前景好?
  • ¥20 求会6sv辐射传输模型,辅导(可py6s🙏🏻有偿
  • ¥15 .xla后缀的文件拖到excel里什么内容也没有怎么办
  • ¥20 Workbench中Mechanical打不开、闪退是什么原因?
  • ¥240 MapReduce应用实践 学生课程
  • ¥15 hlss视频显示AUTHORITY_INVALID
  • ¥15 MAX9296A+MAX96717,美信gmsl解串有人做过吗?
  • ¥15 求帮我解决一下inode 爆满的问题(有偿)
  • ¥15 关于#vscode#的问题:布料滤波算法中C++实现pcl在Vscode中pcl库没有#include <pcl>