Mr 赛文 2022-08-22 18:57 采纳率: 100%
浏览 81
已结题

org.apache.hadoop.fs.Options$ChecksumCombineMode

救命

org.apache.hadoop.fs.Options$ChecksumCombineMode
MapReduce阶段不知道发生了什么,一直报这样一个错误,之前还能好好运行,突然就不行了

问题相关代码
package HW0820;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;

import java.io.IOException;

public class clean {
    public static void main(String[] args) throws Exception {
        //        1.初始化配置
        Configuration conf = new Configuration();
        conf.set("fs.defaultFS","hdfs://hadoop10:9000");
//        2.创建job
        Job job = Job.getInstance(conf);
        job.setJarByClass(clean.class);
        //3. 设置输入格式化工具和输出格式化
        job.setInputFormatClass(TextInputFormat.class);
        job.setOutputFormatClass(TextOutputFormat.class);
        //4. 设置输入路径和输出路径
        TextInputFormat.addInputPath(job,new Path("/day5/video"));
        TextOutputFormat.setOutputPath(job,new Path("/day5/clean"));
        //5. 设置mapper和reducer
        job.setMapperClass(MapClean.class);

        // 6. 设置mapper的kv类型和reducer的kv类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);
        job.setNumReduceTasks(0);
        // 7. 启动job
        boolean b = job.waitForCompletion(true);
        System.out.println(b);

    }
    static class MapClean extends Mapper<LongWritable, Text,Text, NullWritable>{
        @Override
        protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, NullWritable>.Context context) throws IOException, InterruptedException {

                String replace = value.toString().replace(" ", "");
                String[] split = replace.split("\t", 10);
                String replace1 = split[split.length - 1].replace("\t", "&");
                String[] split1 = replace1.split("&");
                String spid="";
            for (int i = 0;i<20 && i < split1.length; i++) {

                if (i == split1.length-1) {
                    spid=spid+split1[i];
                }else {
                    spid=spid+split1[i]+"&";
                }

            }
                String a = "";
                for (int n=0;n<split.length-1;n++) {
                    a+=split[n]+",";
                }
                String all= a+ spid;
                context.write(new Text(all),NullWritable.get());
        }
    }
}


img

运行结果及报错内容

img

我的解答思路和尝试过的方法

试过重启、删除,拷贝别人的Maven阿帕奇下载的包都不行

  • 写回答

3条回答 默认 最新

  • 白鼠进击 2022-08-22 22:44
    关注

    img

    大概率就是这个依赖与其他依赖产生了冲突,题主试一下去pom文件中,更改一下配置,将这个配置删除,就OK了

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

问题事件

  • 系统已结题 8月31日
  • 已采纳回答 8月23日
  • 赞助了问题酬金10元 8月22日
  • 创建了问题 8月22日

悬赏问题

  • ¥15 拟通过pc下指令到安卓系统,如果追求响应速度,尽可能无延迟,是不是用安卓模拟器会优于实体的安卓手机?如果是,可以快多少毫秒?
  • ¥20 神经网络Sequential name=sequential, built=False
  • ¥16 Qphython 用xlrd读取excel报错
  • ¥15 单片机学习顺序问题!!
  • ¥15 ikuai客户端多拨vpn,重启总是有个别重拨不上
  • ¥20 关于#anlogic#sdram#的问题,如何解决?(关键词-performance)
  • ¥15 相敏解调 matlab
  • ¥15 求lingo代码和思路
  • ¥15 公交车和无人机协同运输
  • ¥15 stm32代码移植没反应