2 qq 29244317 qq_29244317 于 2017.08.30 17:04 提问

mapreduce遇到的一个问题

运行mapreduce程序时读取文件夹,当读取到到 .tmp结尾的文件报以下错误信息
图片说明
图片说明
怎么解决,能不能不删除 .tmp文件

5个回答

qq_29244317
qq_29244317   2017.08.30 18:10

忽然发现有时候下载文件也会报错,有时候会报错,有时候可以正常下载图片说明

qq_29244317
qq_29244317   2017.08.30 18:11

有没有遇到过这样错误的,求助啊!!!

huang931027
huang931027   2017.08.31 08:54

hadoop的datanode的日志里面应该有更详细的报错吧,,这个可能是不支持解析有多个后缀的文件吧。没遇到过,我猜的。。

huang931027
huang931027 回复qq_29244317: 你站在hadoop的角度想一想,我不知道你这个资源到底有多长我没办法去Map呀,那我只能报错了
3 个月之前 回复
huang931027
huang931027 如果是这样的话,肯定不行呀,hadoop分析的是一个已经确定的数据,你其他的服务可能还在写这个资源,那你让hadoop怎么办?
3 个月之前 回复
huang931027
huang931027 回复qq_29244317: 你说的没有释放租约的意思是不是说这个资源被其他的服务也在用,没有释放?
3 个月之前 回复
qq_29244317
qq_29244317 应该是文件没有释放租约的原因
3 个月之前 回复
qq_29244317
qq_29244317   2017.08.31 11:03

很奇怪我运行mapreduce读取单个没有释放租约的文件可以但是多个就不行了,并且单个没有释放租约的文件并不能cat单为什么还能mapreduce呢

qq_29244317
qq_29244317   2017.08.31 11:07

还有很奇怪的事,那个.tmp结尾的文件也是没有释放租约的但是为什么可以cat

qq_29244317
qq_29244317 回复Luffy_fans_zh: 嗯嗯,已经确定了那个没有释放租约的文件被map也是不可以成功的,当时我看错了,解决方案是要把所有没有释放租约的文件恢复租约就可以了,但是文件好多需要写脚本来释放租约,可是我又不能把带以.tmp结尾的文件释放租约,这个我应该怎么写
3 个月之前 回复
huang931027
huang931027 cat只是读呀,又不能写
3 个月之前 回复
huang931027
huang931027 你站在hadoop的角度想一想,我不知道你这个资源到底有多长我没办法去Map呀,那我只能报错了
3 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片