小威xiaowei2
2016-04-27 13:13hadoop一个mapreduce的JOB最短执行时间
1如题,我想用hadoop来进行文本检索,想法是一个查询对应一个JOB,检索的话肯定时间要快。
但是我在eclipse中跑一个JOB时,即使是什么都不做,也需要7秒,用hadoop jar命令更久。
请问这个时间可以优化吗,还是Mapreduce初始JOB就需要这么久。还有一个奇怪的现象:
JOB如果遍历文本集合来进行检索,竟然只需要6秒多,比什么都不干还快。
- 点赞
- 回答
- 收藏
- 复制链接分享
2条回答
为你推荐
- Hadoop-2-HDFS+MapReduce+Hive+HBase版本搭配
- hbase
- hive
- mapreduce
- hadoop
- 0个回答
- hadoop 运行本地jar包无法读取文件。
- hadoop
- 2个回答
- Hadoop mapreduce传值问题
- 推荐系统
- mapreduce
- 推荐算法
- hadoop
- 1个回答
- hadoop eclipse 配置问题
- iptables
- hadoop
- eclipse
- 2个回答
- hadoop简单问题,如何在spring boot中,同时使用这4个jar,能够正常运行
- gradle
- spring
- java
- hadoop
- 3个回答
换一换