mapreduce能设置输入类型是多级的路径吗，比如我的目录结构是
/loginlogs/2017-8-29/server1/0545215145.log
/loginlogs/2017-8-29/server1/0545215146.log
/loginlogs/2017-8-29/server2/0545212159.log
...
我输入/loginlogs/2017-8-29然后自动可以搜索到这个目录下的文件夹里的文件，应该怎么设置输入类型
mapreduce的多级目录输入问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答
- 2018-04-25 00:52回答 1 已采纳 step4输出的是 UserId\tItemId,Score，也就是Step5的Map的step4数据KEY是UserId，map的step2的数据KEY是itemID，肯定没办法走到同一个循环。
- 2017-05-24 09:27回答 1 已采纳 1、map和reduce是分开的。比如每个学生所有科目的平均值，使用学生id为key，学生的分数作为value。在shuffle的过程中，相关学生id的value将合并在一起。返回给reduce。
- 2017-05-21 13:58回答 1 已采纳 http://blog.csdn.net/lzm1340458776/article/details/43227759
- 2022-05-21 01:54而鱼儿and-fish的博客 一、MapReduce解决了什么问题？ · 在处理大规模问题时，每次都需要考虑... · MapReduce就是为了解决多级并行协调、网络通信、处理错误、提高执行效率等通用性问题的编程框架 二、MapReduce是什么？ · 大量重复.
- 2022-06-19 22:26回答 3 已采纳 是只能使用mapreduce写吗，你把他整成sql，操作不是简单多了吗
- 2023-04-05 23:37
debug调试无法运行 Method threw.Cannot evaluate org.apache.hadoop.mapreduce.Job.toString()
hadoop
mapreduce
大数据
有问必答
回答 2 已采纳 参考这篇文章试下https://blog.csdn.net/weixin_37895026/article/details/125660368 - 2022-12-15 20:47回答 1 已采纳 这些都是日志，包含处理进度、数据处理的一些统计信息，比如数据条数、所占空间大小等。
- 2023-08-17 18:42夜夜流光相皎洁_小宁的博客 MapReduce是一个用于大规模数据处理的分布式计算模型，最初由Google工程师设计并实现的，Google已经将完整的MapReduce论文公开发布了。其中的定义是，MapReduce是一个编程模型，是一个用于处理和生成大规模数据集的...
- 2023-04-12 22:31回答 2 已采纳 1、检查一下输入文件中有没有多余的空格，把这些空格取消掉试试2、或者将split(“\t”)替换为空格split(” “)
- 2022-04-22 14:34回答 2 已采纳 public class StudentScore implements Serializable, WritableComparable<StudentScore> 类要实现Seria
- 2023-03-11 23:23回答 2 已采纳 链接：https://pan.baidu.com/s/1Tg-5DX0uuyM1m_mqLOV_JQ提取码：7alt
- 2023-07-12 12:50Bigdata_shit的博客 目录 第1章 核心技术 1.1 Linux&Shell 1.1.1 Linux常用高级命令 1.1.2 Shell常用工具及写过的脚本 1.1.3 Shell中单引号和双引号区别 1.2 Hadoop 1.2.1 Hadoop常用端口号 1.2.2 HDFS读流程和写流程 1.2.3 HDFS小文件...
- 2022-04-21 17:49回答 2 已采纳 发一下你的mr程序可能reduce阶段的代码写错了吧
- 2023-06-28 14:45宥名的博客 1. 掌握MapReduce工作原理； 2. 设计MapReduce程序，基于stock-daily数据集计算股票下行指数
- 2023-12-14 17:38Logan_addoil的博客 一些问题和反思
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 delta降尺度计算的一些细节，有偿
- ¥15 Arduino红外遥控代码有问题
- ¥15 数值计算离散正交多项式
- ¥30 数值计算均差系数编程
- ¥15 redis-full-check比较 两个集群的数据出错
- ¥15 Matlab编程问题
- ¥15 训练的多模态特征融合模型准确度很低怎么办
- ¥15 kylin启动报错log4j类冲突
- ¥15 超声波模块测距控制点灯，灯的闪烁很不稳定，经过调试发现测的距离偏大
- ¥15 import arcpy出现importing _arcgisscripting 找不到相关程序