2 biying00 biying00 于 2014.07.11 19:43 提问

hadoop求高人解惑 不是具体问题 就是想不通

搞hadoop已经一个月了 弄来弄去我觉得我始终都在围绕 hive sql。。。把以前oracle的过程表进行迁移。真有点迷茫 感觉有什么东西隔着我始终看不透。也许被hive给我迷惑了。大家能不能用自己的话 指导下我 到底 hadoop 中 hive hbase yarn mapreduce 之间有什么关系 hdfs就是最底层存储的吗?小弟菜鸟 希望不要见笑 多谢.hadoop到底还有什么我不知道的。。。给我个指引啊 (公司老师培训纯扯淡啊 高谈阔论 说不清还)

1个回答

yuanbingze
yuanbingze   2014.08.04 13:30
已采纳

哈哈,关系太复杂,很难靠这点东西给你说清除。

hadoop就是一个分布式框架,主要分两部分,分别是存储和计算,也就是HDFS和MapReduce。
Hive主要用于数据仓库,其实底层还是hadoop来实现,也就是我们写好后的sql,通过Hive这个玩意解释和编译一下,就变成MapReduce进行数据计算,然后再把结果保存到HDFS当中,至于Yarn吗,是Hadoop2.0之后才出现的一个东西,据说主要是资源管理器,也就是一个管家
HBase再国内非常火,关于这方面的文章页非常多,我从来没有用过,也给你解释不了,其他的还有很多。Storm,spark,pig,zookeeper,oozer,flume等等,但是底层都是hadoop,也就是HDFS和MapReduce。呵呵,好好学,有问题交流

biying00
biying00 我们的项目已经上线了 我们公司主要就是做数据仓库 所以目前只能接触到hive 其它的几乎没用。你们做的什么项目 65580040我的q 可以的话 请加我吧
3 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
Kaggle搭积木式刷分大法: LB 0.11666(排名前15%)
專 欄 ❈本文作者:王勇,目前感兴趣项目商业分析、Python、机器学习、Kaggle。17年项目管理,通信业干了11年项目经理管合同交付,制造业干了6年项目管理:PMO,变革,生产转移,清算和资产处理。MBA, PMI-PBA, PMP。❈ 我参加了两个Kaggle 比赛,一个是Titanic (分类),另一个是HousePrice(回归)。分别获得了前7% (花了约3个月业
对网文“美国人至今也想不通”有感
  乱世出英雄,不过我对这种战争的事情不感冒。我只知道那些死了的家人没人照顾,那些逃兵却是今天一个一个高高在上的坐着赏受,甚至剥削人民。  我们能战胜说成是一个民族觉醒的力量那只是那些军官们自谦,知道上下一心,其力断金,鼓动人民勇敢抗敌搞出的口号而已,今天再叫这个就显得有点不伦不类了。  他们的军事政治天份带来了新中国,我们确实也同时为之感到骄傲和自豪。但是,千万不要只知道口里面叫“中国人
artcurs
artcurs(未破解)求高人破解
SQL解惑 第二版(中文)pdf带目录
也许有人看过java解惑,即通过讲述一个案例,解释一个java特性抑或一个容易遇到的小陷阱。SQL解惑与其相同,通过小小案例解析、阐述SQL各个特性,比刻板而唠叨的教科书更小巧、便捷,焕然一新。
Cain安装版
cain是一个可以帮助你破解各种密码的工具,不过我对这个也不是很懂。。求高人指点。
大数据笔记(三):Map-Reduce
分布式并行编程 在MapReduce出现之前,已经有像MPI这样非常成熟的并行计算框架了,那么为什么Google还需要MapReduce? MapReduce相较于传统的并行计算框架有什么优势? MapReduce模型简介 •MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数: Map和Reduce •编程容易,不需要掌握分布式并行编程细节,也可以很容易...
学习《SQL解惑》
PUZZLE ONE 1、integer , date ,extract 2、constraint  ( )  check ( ) code: create table fiscalyeartable1 (fiscal_year integer not null primary key, start_date   date    not null, CONSTRAINT valid_
解惑SDN(独家资源)
干货来的,不骗大家,干货,干货,干货,干货,干货,干货,干货,干货,干货,干货,干货,解惑SDN。
数学题-计算相交圆的公共部分面积
参考学长的模板; 数学能力差就要看公式模板;数学知识不懂画图推一下就出来了。高三同学做这种题应该特别厉害。 double abss(double a,double b) //两数作差绝对值 { return a-b>=0?(a-b):(b-a); } struct circle { double x,y,r; } a,b; double get_dis(double x1,
向高人学习
向高人学习,成为一个不断学习的人。       或许有人会问,高人在哪?高人是谁?对于这个问题,让我想起了类似的问题。美在哪?美是什么?然而,我们生活中从不缺乏美,我们需要就是去觉察这美,从而用心地去体味这美。实际上,我们的生活中也从不缺乏高人,高人无处不在,高人也无处不有,只要我们善于洞察与发觉,我们能够找到高人的位置,也能找到高人的角色。       学习不能漫无目的,学习也不能没有方向。