hadoop中combine，partition和shuffle的疑问

图片说明这是我理解的hadoop函数调用过程，但还是有点疑惑，比如：每个map函数输出都调用一个partition函数（图中为此方式）还是一个partition函数处理所有的map输出，如果图中的过程正确，那么shuffle函数调用发生在哪里？

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

2条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
threenewbee 2016-03-08 04:42
关注
http://dongxicheng.org/mapreduce/hadoop-shuffle-phase/

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

查看更多回答(1条)

报告相同问题？

关注问题

hadoop中combine，partition和shuffle的疑问 hadoop
2016-03-08 04:31

回答 2 已采纳 http://dongxicheng.org/mapreduce/hadoop-shuffle-phase/
hadoop和大数据、spark的关系该怎么理解？ hadoop spark 大数据
2022-06-23 13:55

回答 1 已采纳 Hadoop和Spark都是处理大数据的框架。就象你说关系型数据库，这只是一个概念，但是代表了一系列的含意，比如数据是结构化的，基于关系模型存储的。而MySQL、Oracle、SqlServer这些就
大数据、Hadoop hadoop 大数据
2022-12-19 16:44

回答 1 已采纳 format只需要对NameNode做，如果你在node3做了也没关系，删除node3上的、hdfs-site.xml中配置的NameNode对应的目录即可，然后在node1上也删除相同的目录后，重新
Hadoop中MapReduce中combine、partition、shuffle的作用，程序中的使用
2019-04-03 09:59

灵佑666的博客 InputFormat类：该类的作用是将输入的文件和数据分割成许多小的split文件，并将split的每个行通过LineRecorderReader解析成<Key,Value>,通过job.setInputFromatClass()函数来设置，默认的情况为类...
大数据框架中的hadoop和hive spark presto tez是什么关系 hadoop hive spark
2022-12-24 10:29

回答 1 已采纳 Hadoop是一个分布式计算框架，可以在大数据集上运行分布式应用程序。它由许多组件组成，包括HDFS（分布式文件系统）和MapReduce（分布式计算引擎）。Hive是一个基于Hadoop的数据仓库系
Hadoop平台搭建 hadoop
2022-04-20 08:36

回答 3 已采纳排查方向：1、检查host文件，看IP地址跟主机名对应关系2、检查防火墙，需要关闭3、在这一步，即使你做了ssh免密登录，排查方向还是在ssh这里，主要是检查node23节点有没有把公钥传输到你的ma
spark和hadoop hadoop spark 大数据
2022-12-23 16:57

回答 2 已采纳集群还在启动吧，还是在安全模式，无法创建文件夹，稍等一会儿集群完全启动成功后就可以了。
Hadoop中MapReduce中combine、partition、shuffle的作用是什么？在程序中怎么运用？
2018-05-15 17:20

爱萨萨的博客 InputFormat类：该类的作用是将输入的文件和数据分割成许多小的split文件，并将split的每个行通过LineRecorderReader解析成<Key,Value>,通过job.setInputFromatClass()函数来设置，默认的情况为类...
大数据hadoop完全分布式安装配置怎么做 hadoop
2023-03-02 16:06

回答 3 已采纳小魔女参考了bing和GPT部分内容调写:要安装配置Hadoop的完全分布式，首先需要准备好master节点和slave节点，其中master节点需要安装jdk，slave节点只需要安装ssh服务，并
关于hadoop和spark大数据开发大数据
2016-06-12 05:52

回答 2 已采纳你好本人刚在大数据库处理方面学习对此有以下理解 1，大数据处理看到的注重点是对数据处理，字段与字段在oracle与oracle ，oracle与mysql，oracle与mariadb等数据
hadoop中，reduce运行到33%卡不住不动 hadoop 大数据有问必答
2021-11-09 17:48

回答 1 已采纳有可能datanode有多处磁盘损坏了，你可以尝试关闭其中那个有问题的节点继续测试
大数据技术之hadoop ——（十）Shuffle机制、MapReduce中的shuffle流程
2021-08-21 11:24

「已注销」的博客 1.4、Combiner合并 1.4.1、概述 1.4.2、自定义Combiner步骤 1.4.3、Combiner案例总结前言前面MapReduce工作流程中的数据输入阶段InputFormat和切片机制，那么接下来就是中间的shuffle过程，shuffle机制一、...
hadoop1.x和2.x架构上的区别? hadoop 大数据数据挖掘
2022-10-26 11:41

回答 1 已采纳（1）Hadoop 1.0Hadoop 1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，Ma
大数据开发八股文总结——Hadoop
2023-04-18 20:30

化身孤岛的鲸o的博客 大数据开发学习总结——Hadoop
hadoop面试题（大数据）（附答案）
2023-05-13 14:38

远道可思的博客 Hadoop是一个开源分布式计算平台架构，基于apache（阿帕奇）协议发布，由java语言开发。主要包括运行模式：单机版、伪分布式模式、完全分布式模式
没有解决我的问题, 去提问

悬赏问题

¥15 电力市场出清matlab yalmip kkt 双层优化问题
¥30 ros小车路径规划实现不了，如何解决？(操作系统-ubuntu)
¥20 matlab yalmip kkt 双层优化问题
¥15 如何在3D高斯飞溅的渲染的场景中获得一个可控的旋转物体
¥88 实在没有想法，需要个思路
¥15 MATLAB报错输入参数太多
¥15 python中合并修改日期相同的CSV文件并按照修改日期的名字命名文件
¥15 有赏，i卡绘世画不出
¥15 如何用stata画出文献中常见的安慰剂检验图
¥15 c语言链表结构体数据插入