2 biying00 biying00 于 2014.07.11 19:43 提问

hadoop求高人解惑 不是具体问题 就是想不通

搞hadoop已经一个月了 弄来弄去我觉得我始终都在围绕 hive sql。。。把以前oracle的过程表进行迁移。真有点迷茫 感觉有什么东西隔着我始终看不透。也许被hive给我迷惑了。大家能不能用自己的话 指导下我 到底 hadoop 中 hive hbase yarn mapreduce 之间有什么关系 hdfs就是最底层存储的吗?小弟菜鸟 希望不要见笑 多谢.hadoop到底还有什么我不知道的。。。给我个指引啊 (公司老师培训纯扯淡啊 高谈阔论 说不清还)

1个回答

yuanbingze
yuanbingze   2014.08.04 13:30
已采纳

哈哈,关系太复杂,很难靠这点东西给你说清除。

hadoop就是一个分布式框架,主要分两部分,分别是存储和计算,也就是HDFS和MapReduce。
Hive主要用于数据仓库,其实底层还是hadoop来实现,也就是我们写好后的sql,通过Hive这个玩意解释和编译一下,就变成MapReduce进行数据计算,然后再把结果保存到HDFS当中,至于Yarn吗,是Hadoop2.0之后才出现的一个东西,据说主要是资源管理器,也就是一个管家
HBase再国内非常火,关于这方面的文章页非常多,我从来没有用过,也给你解释不了,其他的还有很多。Storm,spark,pig,zookeeper,oozer,flume等等,但是底层都是hadoop,也就是HDFS和MapReduce。呵呵,好好学,有问题交流

biying00
biying00 我们的项目已经上线了 我们公司主要就是做数据仓库 所以目前只能接触到hive 其它的几乎没用。你们做的什么项目 65580040我的q 可以的话 请加我吧
2 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片