小威xiaowei2 2016-04-27 13:13 采纳率: 0%
浏览 1649
已结题

hadoop一个mapreduce的JOB最短执行时间

如题，我想用hadoop来进行文本检索，想法是一个查询对应一个JOB，检索的话肯定时间要快。
但是我在eclipse中跑一个JOB时，即使是什么都不做，也需要7秒，用hadoop jar命令更久。
请问这个时间可以优化吗，还是Mapreduce初始JOB就需要这么久。还有一个奇怪的现象：
JOB如果遍历文本集合来进行检索，竟然只需要6秒多，比什么都不干还快。

  • 写回答

2条回答 默认 最新

  • 小威xiaowei2 2016-04-28 08:00
    关注

    看起来不会有人回答了，个人感觉mapreduce就是慢，不是说它不适合实时处理吗，查询这种对响应时间要求很高的还是不能这样干，
    一个job的运行时间不可能小于1s，就是什么都不干都不行。果断放弃，还好有另外一个方法

    评论

报告相同问题？

悬赏问题

  • ¥20 删除和修改功能无法调用
  • ¥15 kafka topic 所有分副本数修改
  • ¥15 小程序中fit格式等运动数据文件怎样实现可视化？（包含心率信息））
  • ¥15 如何利用mmdetection3d中的get_flops.py文件计算fcos3d方法的flops？
  • ¥40 串口调试助手打开串口后,keil5的代码就停止了
  • ¥15 电脑最近经常蓝屏，求大家看看哪的问题
  • ¥60 高价有偿求java辅导。工程量较大，价格你定，联系确定辅导后将采纳你的答案。希望能给出完整详细代码，并能解释回答我关于代码的疑问疑问，代码要求如下，联系我会发文档
  • ¥50 C++五子棋AI程序编写
  • ¥30 求安卓设备利用一个typeC接口，同时实现向pc一边投屏一边上传数据的解决方案。
  • ¥15 SQL Server analysis services 服务安装失败