2 qq 29244317 qq_29244317 于 2017.08.30 17:04 提问

mapreduce遇到的一个问题

运行mapreduce程序时读取文件夹,当读取到到 .tmp结尾的文件报以下错误信息
图片说明
图片说明
怎么解决,能不能不删除 .tmp文件

5个回答

qq_29244317
qq_29244317   2017.08.30 18:10

忽然发现有时候下载文件也会报错,有时候会报错,有时候可以正常下载图片说明

qq_29244317
qq_29244317   2017.08.30 18:11

有没有遇到过这样错误的,求助啊!!!

huang931027
huang931027   Rxr 2017.08.31 08:54

hadoop的datanode的日志里面应该有更详细的报错吧,,这个可能是不支持解析有多个后缀的文件吧。没遇到过,我猜的。。

huang931027
huang931027 回复qq_29244317: 你站在hadoop的角度想一想,我不知道你这个资源到底有多长我没办法去Map呀,那我只能报错了
11 个月之前 回复
huang931027
huang931027 如果是这样的话,肯定不行呀,hadoop分析的是一个已经确定的数据,你其他的服务可能还在写这个资源,那你让hadoop怎么办?
11 个月之前 回复
huang931027
huang931027 回复qq_29244317: 你说的没有释放租约的意思是不是说这个资源被其他的服务也在用,没有释放?
11 个月之前 回复
qq_29244317
qq_29244317 应该是文件没有释放租约的原因
11 个月之前 回复
qq_29244317
qq_29244317   2017.08.31 11:03

很奇怪我运行mapreduce读取单个没有释放租约的文件可以但是多个就不行了,并且单个没有释放租约的文件并不能cat单为什么还能mapreduce呢

qq_29244317
qq_29244317   2017.08.31 11:07

还有很奇怪的事,那个.tmp结尾的文件也是没有释放租约的但是为什么可以cat

qq_29244317
qq_29244317 回复Luffy_fans_zh: 嗯嗯,已经确定了那个没有释放租约的文件被map也是不可以成功的,当时我看错了,解决方案是要把所有没有释放租约的文件恢复租约就可以了,但是文件好多需要写脚本来释放租约,可是我又不能把带以.tmp结尾的文件释放租约,这个我应该怎么写
11 个月之前 回复
huang931027
huang931027 cat只是读呀,又不能写
11 个月之前 回复
huang931027
huang931027 你站在hadoop的角度想一想,我不知道你这个资源到底有多长我没办法去Map呀,那我只能报错了
11 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
Mapreduce编程常见问题汇总
1. security.UserGroupInformation:PriviledgedActionException 权限异常 解决办法:修改hdfs /tmp目录权限 hadoop@master:~/hadoop-1.0.4/bin$ ./hadoop dfs -chmod -R 777 /tmp hadoop@master:~/hadoop-1.0.4/bin$ ./ha
大讲台分享:关于MapReduce常见的问题及解决方案
本文中所涉及到的问题均来自大讲台Hadoop学员的提问,下面是具体问题描述及解决方案。 问题1:MapReduce和Yarn是什么关系? 问题描述:课件中说Hadoop框架的核心是HDFS和MapReduce,这课程主要讲的2.2版本,2版本中不是用Yarn了吗。 我看书上和网上有些人说Yarn是MapReduce二代,改进了MapReduce一代的一些弊端。 但我看Hadoop2.2中有
mapreduce中遇到的问题
1、文件内容为空,可能没有写context.write(key,value);2、数组下标越界,可能是txt文本下面有空行3、导包容易出错,尤其是Text和CombineTextInputFormat4、Mapper中第一个输入的参数必须是LongWritable或者NullWritable,不可以是IntWritable,报类型错误转换异常待更新5、java.lang.Exception: ja...
MapReduce实现用户画像时遇到的一些问题
MapReduce实现用户画像遇到的一些问题及解决方法
记录mapreduce遇到的问题
1、java.lang.ClassNotFoundException 后来发现原来是在0.20版本以后main方法中需要加:job.setJarByClass(HBaseToFile.class);才能找到自定义的map或reduce内部类 2、
单源最短路径算法(MapReduce)源代码
单源最短路径算法(MapReduce)源代码,对与hadoop的初学者来说是很好的入门教程
python执行mapreduce
执行mapreduce有两种方式,一种是原生Java写的mr,一种是直接使用Streaming方式,这种方式是在Java上面做了一个封装,可以通过其它语言调用Java原生的mr接口。 优点 可以使用自己喜欢的语言来编写MapReduce程序(换句话说,不必写Java XD)不需要像写Java的MR程序那样import一大堆库,在代码里做一大堆配置,很多东西都抽象到了stdio上,代
MapReduce 数据倾斜原因和解决方案
MapReduce简介MapReduce是面向大数据并行处理的计算模型、框架和平台,它隐含了以下三层含义:1)MapReduce是一个基于集群的高性能并行计算平台(Cluster Infrastructure)。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。2)MapReduce是一个并行计算与运行软件框架(Software Framework)。它提供了一...
hadoop 1.x集群搭建及搭建过程遇到的问题总结
hadoop集群搭建 Hadoop集群搭建 Master机的ip地址假定为192.168.1.1 slaves1的假定为192.168.1.2 slaves2的假定为192.168.1.3  各台机器的用户同为redmap, hadoop 根目录为: /hadoop(即直接在filesystem里装得hadoop) (1) 192.168.1.1 redmap-master 作
单源最短路径算法的MapReduce实现(Metis版本)
Mapreduce 是谷歌提出的一个分布式计算框架, 利用该框架, 能够让用户方便地利用多机并行处理数据。 该框架有两个重要的函数: Map 和 Reduce, Map 函数对整个输入数据进行处理, 按照用户定义的处理方式, 从输入的数据中产生中间键值对( key, value)。Reduce 函数对这些键值对进行处理, 相同 key 的键值