2 shanyuting shanyuting 于 2015.07.20 13:36 提问

hadoop mapreduce 数据分析 丢数据

最近发现hadoop的mapreduce程序会丢数据,不知道是什么原因,请教各位:
hadoop环境,通过mapreduce程序分析hdfs上的数据,一天的数据是按小时存储的,每一个小时一个文件价,数据格式都是一样的,现在如果在16点这个文件价里有一条数据a,如果我用mr分析一整天的数据,数据a则丢失,如果单独跑16点这个文件夹里的数据,则数据a不会丢失,可以正常被分析出来,只要一加上其他时间段的数据,数据a就分析不出来,请问这是为什么?

最近在学习spark,我用spark程序跑同样的数据,整天的,不会有丢失的问题,的所以我肯定不是数据格式的问题

希望大家能帮我解决这个hadoop的问题,谢谢啦

1个回答

CSDNXIAOD
CSDNXIAOD   2015.07.20 13:39

Hadoop MapReduce数据流程(上)
----------------------biu~biu~biu~~~在下问答机器人小D,这是我依靠自己的聪明才智给出的答案,如果不正确,你来咬我啊!

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
基于Hadoop MapReduce模型的数据分析平台研究设计
基于Hadoop MapReduce模型的数据分析平台研究设计 前言 拖了5天终于看完了两篇论文,对相关数据分析平台搭建技术也有了进一步的了解。对自己这几天的笔记做了一个整理,既是为了方便自己以后查看,也是为以后的实际平台搭建建立依据。其实感觉还是挺苦逼的,这大过年的亲戚都坐在旁边包饺子,而我……还在为自己的拖延症买单。 本笔记主要记录以下两个方面: Hadoop Ma
MapReduce 分析 Youtube 数据
MapReduce 分析 Youtube 数据 一、实验介绍 1.1 实验内容 MapReduce 是 Hadoop 的计算框架。 在运行一个 MR 程序时,任务过程被分为两个阶段:Map 阶段和 Reduce 阶段,每个阶段都是用键值对作为输入和输出。 本课程的内容包括如何在 eclipse 中搭建 Hadoop 开发环境,并基于 YouTube 数据集根据任务需求编写 MR 程序,然
Hadoop大数据案例之搜狗五百万数据分析
最近使用了hadoop中的hive、mapreduce以及HBASE对网上的一个搜狗五百万的数进行了一个比较实际的数据分析,适合新手去练习,好处是在接触较大的数据流的时候能碰到平时接触不到的问题,通过这些问题能够对自己有一个较好的提升,为以后接触到实际的大数据项目打一些有效的基础。 数据源: 数据说明:搜狗五百万数据,是经过处理后的搜狗搜索引擎生产数据,具有真实性,大数据性,能够较好的满足...
利用MapReduce分析sogou500数据(搜索过仙剑奇侠传的用户)
import java.io.BufferedReader;import java.io.FileReader;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import java.util.HashMap;import java.util.Map;import org.apach...
Hadoop MapReduce数据处理过程以及更多示例
Hadoop MapReduce数据处理过程以及更多示例
Hadoop大数据平台入门——HDFS和MapReduce
随着硬件水平的不断提高,需要处理数据的大小也越来越大。大家都知道,现在大数据有多火爆,都认为21世纪是大数据的世纪。当然我也想打上时代的便车。所以今天来学习一下大数据存储和处理。 随着数据的不断变大,数据的处理就出现了瓶颈:存储容量,读写速率,计算效率等等。 google不愧是走在世界前列的大公司,为了处理大数据,google提出了大数据技术,MapReduce,BigTable和GFS。
从零开始最短路径学习Hadoop之02----处理气象数据的第一个MapReduce程序
编写一个气象数据挖掘的MapReduce程序 1. 气象数据在哪里?     NCDC  美国国家气候数据中心     获取数据的方式在www.hadoopbook.com里给出了,是这里http://hadoopbook.com/code.html     两个示例的数据在这里下载https://github.com/tomwhite/hadoop-book/
Java开发2.0:用Hadoop MapReduce进行大数据分析
Google在2001年发布图像搜索功能时,只有2.5亿索引图像,不到10年,这个巨大的搜索功能已经可以检索超过100亿个图像了,每分钟有 35小时的内容上传到YouTube。据称,Twitter每天平均处理5500万tweet。今年早些时候,搜索功能每天记录6亿条查询记录。这 就是我们讨论大数据的意义所在。   如此大规模的数据一度仅限于大企业、学校和政府机构 — 这些机构有能力购买昂贵的超级
【多维分析系列】大数据下的数据分析:Hadoop架构解析
大数据下的数据分析:Hadoop架构解析 2011-8-30 14:39| 发布者: joejoe0332| 查看: 5850| 评论: 0|原作者: 谢超|来自: 程序员 摘要:   随着互联网、移动互联网和物联网的发展,谁也无法否认,我们已经切实地迎来了一个海量数据的时代,数据调查公司IDC预计2011年的数据总量将达到1.8万亿GB,对这些海量数据的分析已经成为一
MapReduce数据分析实战
hadoop编程/MapReduce数据分析实战