2 u012236368 u012236368 于 2016.04.27 21:13 提问

hadoop一个mapreduce的JOB最短执行时间 1C

如题,我想用hadoop来进行文本检索,想法是一个查询对应一个JOB,检索的话肯定时间要快。
但是我在eclipse中跑一个JOB时,即使是什么都不做,也需要7秒,用hadoop jar命令更久。
请问这个时间可以优化吗,还是Mapreduce初始JOB就需要这么久。还有一个奇怪的现象:
JOB如果遍历文本集合来进行检索,竟然只需要6秒多,比什么都不干还快。

2个回答

u012236368
u012236368   2016.04.28 16:00

看起来不会有人回答了,个人感觉mapreduce就是慢,不是说它不适合实时处理吗,查询这种对响应时间要求很高的还是不能这样干,
一个job的运行时间不可能小于1s,就是什么都不干都不行。果断放弃,还好有另外一个方法

wl1411956542
wl1411956542   2016.10.19 21:43

mapreduce是针对大数据集的算法框架,运行时间长是因为其启动的时间和寻址的时间比较长,数据的大小对于运行时间影响并不是很大,除非你的数据
确实非常之大。

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!