XingZu123
XingZu123
2017-12-03 08:24

在map()方法和stepup()方法中判断切片所在的文件名会有什么不同?

  • mapreduce
  • filesplit

图片说明

如图,我想对读取的内容先判断是否其所在的文件名为part-r-00299,然后再进行操作。
可是如果放在map()中,那每次都要执行一遍fileSplit.getPath().getName(),好像会影响效率。
所以我想问,如果把判断文件名放在stepup()中,会不会对这个判断有什么影响?
刚刚接触MR,对MR的切片输入还不是很了解,希望大神们多多指教。

  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

1条回答