mapreduce能设置输入类型是多级的路径吗，比如我的目录结构是
/loginlogs/2017-8-29/server1/0545215145.log
/loginlogs/2017-8-29/server1/0545215146.log
/loginlogs/2017-8-29/server2/0545212159.log
...
我输入/loginlogs/2017-8-29然后自动可以搜索到这个目录下的文件夹里的文件，应该怎么设置输入类型
mapreduce的多级目录输入问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2018-04-25 00:52回答 1 已采纳 step4输出的是 UserId\tItemId,Score，也就是Step5的Map的step4数据KEY是UserId，map的step2的数据KEY是itemID，肯定没办法走到同一个循环。
- 2017-05-24 09:27回答 1 已采纳 1、map和reduce是分开的。比如每个学生所有科目的平均值，使用学生id为key，学生的分数作为value。在shuffle的过程中，相关学生id的value将合并在一起。返回给reduce。
- 2017-05-21 13:58回答 1 已采纳 http://blog.csdn.net/lzm1340458776/article/details/43227759
- 2022-05-21 01:54而鱼儿and-fish的博客 一、MapReduce解决了什么问题？ · 在处理大规模问题时，每次都需要考虑... · MapReduce就是为了解决多级并行协调、网络通信、处理错误、提高执行效率等通用性问题的编程框架 二、MapReduce是什么？ · 大量重复.
- 2022-06-19 22:26回答 3 已采纳 是只能使用mapreduce写吗，你把他整成sql，操作不是简单多了吗
- 2023-04-05 23:37
debug调试无法运行 Method threw.Cannot evaluate org.apache.hadoop.mapreduce.Job.toString()
hadoop
mapreduce
大数据
有问必答
回答 2 已采纳 参考这篇文章试下https://blog.csdn.net/weixin_37895026/article/details/125660368 - 2022-12-15 20:47回答 1 已采纳 这些都是日志，包含处理进度、数据处理的一些统计信息，比如数据条数、所占空间大小等。
- 2023-08-17 18:42夜夜流光相皎洁_小宁的博客 MapReduce是一个用于大规模数据处理的分布式计算模型，最初由Google工程师设计并实现的，Google已经将完整的MapReduce论文公开发布了。其中的定义是，MapReduce是一个编程模型，是一个用于处理和生成大规模数据集的...
- 2023-04-12 22:31回答 2 已采纳 1、检查一下输入文件中有没有多余的空格，把这些空格取消掉试试2、或者将split(“\t”)替换为空格split(” “)
- 2022-04-22 14:34回答 2 已采纳 public class StudentScore implements Serializable, WritableComparable<StudentScore> 类要实现Seria
- 2023-03-11 23:23回答 2 已采纳 链接：https://pan.baidu.com/s/1Tg-5DX0uuyM1m_mqLOV_JQ提取码：7alt
- 2023-07-12 12:50Bigdata_shit的博客 目录 第1章 核心技术 1.1 Linux&Shell 1.1.1 Linux常用高级命令 1.1.2 Shell常用工具及写过的脚本 1.1.3 Shell中单引号和双引号区别 1.2 Hadoop 1.2.1 Hadoop常用端口号 1.2.2 HDFS读流程和写流程 1.2.3 HDFS小文件...
- 2022-04-21 17:49回答 2 已采纳 发一下你的mr程序可能reduce阶段的代码写错了吧
- 2023-06-28 14:45宥名的博客 1. 掌握MapReduce工作原理； 2. 设计MapReduce程序，基于stock-daily数据集计算股票下行指数
- 2023-12-14 17:38Logan_addoil的博客 一些问题和反思
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 素材场景中光线烘焙后灯光失效
- ¥15 请教一下各位，为什么我这个没有实现模拟点击
- ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题
- ¥15 slam rangenet++配置
- ¥15 有没有研究水声通信方面的帮我改俩matlab代码
- ¥15 ubuntu子系统密码忘记
- ¥15 保护模式-系统加载-段寄存器