hadoop一个mapreduce的JOB最短执行时间 1C

如题,我想用hadoop来进行文本检索,想法是一个查询对应一个JOB,检索的话肯定时间要快。
但是我在eclipse中跑一个JOB时,即使是什么都不做,也需要7秒,用hadoop jar命令更久。
请问这个时间可以优化吗,还是Mapreduce初始JOB就需要这么久。还有一个奇怪的现象:
JOB如果遍历文本集合来进行检索,竟然只需要6秒多,比什么都不干还快。

2个回答

看起来不会有人回答了,个人感觉mapreduce就是慢,不是说它不适合实时处理吗,查询这种对响应时间要求很高的还是不能这样干,
一个job的运行时间不可能小于1s,就是什么都不干都不行。果断放弃,还好有另外一个方法

mapreduce是针对大数据集的算法框架,运行时间长是因为其启动的时间和寻址的时间比较长,数据的大小对于运行时间影响并不是很大,除非你的数据
确实非常之大。

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问