怎样在IDEA里debug调试spark源码的shuffle内存调度模块？

我将spark1.6.1版本的源码导入到IDEA里了，想debug调试shuffle内存调度的模块，但是我将断点打到sortShuffleWriter里的write里后，执行的时候发现一直没有运行到断点，貌似
memory模块的其它部分打断点都不行，求大佬解释啊
图片说明

图片说明

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
zqbnqsdsmd 2018-11-17 06:59
关注
https://blog.csdn.net/vfgbv/article/details/51952815?utm_source=blogkpcl15

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

IDEA进行Debug调试会直接执行全部代码是怎么回事？ idea java
2022-10-26 20:57

回答 1 已采纳估计你是按错按钮了或是你直接按了 F9。如果你想一行一行的进行调试，可以按照下图的按钮执行，有个快捷方式就是打完断点，程序启动后，直接F8 一行一行调试。如果运行到你的 test() 方法那一
如何在IntelliJ IDEA中安装完scala后，spark包报红？ intellij-idea spark
2022-04-19 11:52

回答 2 已采纳依赖和依赖的版本都要对上
为什么idea在debug时，执行代码速度这么慢？该怎么设置 intellij-idea
2015-05-25 07:22

回答 2 已采纳看看你在debug的时候是否在方法上加了断点，如果在方法上加了断点，那么运行时非常慢。设置如下： http://zhidao.baidu.com/link?url=hY2wE1DUe1kYFoJ
Spark源码解读(6)——Shuffle过程
2016-07-28 18:48

scalahome的博客 Shuffle应该说是Spark Core中较为复杂的部分，本文主要从一个最简单的WordCount例子出发分析Spark的Shuffle过程： sc.parallelize(1 to 1000).map(i=>(i%5,1)).reduceByKey(_+_).collect() 计算过程中会分成两个...
idea中打开debug窗口，里面有些按钮是灰色的，怎么办 java 开发语言有问必答
2022-01-19 10:00

回答 3 已采纳以debug模式启动项目，然后在代码的地方打断点，然后程序运行到那里之后这些按钮才会亮
Idea的debug模式查看整个链路调用 intellij-idea
2021-03-25 11:22

回答 3 已采纳这就是调用栈
为什么我的IDEA进行debug时候，进不到.java文件而是跳进了.class文件？ intellij-idea java
2023-04-04 19:57

回答 2 已采纳你没下载jdk的源码，所以你的只能是class，视频中是down了源码的效果
spark源码（二）spark如何启动driver、application注册、executor构建命令拼装
2022-06-18 11:54

Interest1_wyt的博客上一篇文章中我们介绍了spark-submit脚本如何提交参数给spark服务器，以及spark如何发起一个spark application，最后spark application启动后又会调用我们自己编辑的WordCount主类。这里我们接着追踪源码介绍。追踪...
IDEA里打印数组元素显示出了内存地址 intellij-idea java
2022-08-10 19:29

回答 3 已采纳给你的Student类重写一下toString方法就可以了 public String toString() { return "name: " + this.name + "age
IntelliJ IDEA 和 Tomcat的使用，debug本地调试 apache idea java
2022-08-25 22:55

回答 1 已采纳没问题啊，就是这样的啊，。进入断点也是在这里面。不影响使用啊
idea可以点击debug，但是不能点击run idea scala
2021-05-20 10:47

回答 2 已采纳自己重新打开项目，run恢复正常。应该是idea2021.1版本的bug
Spark源码解析1-通信框架与Standalone模式启动
2020-11-27 11:16

不爱吃鱼的馋猫的博客 Spark源码解析1-通信框架与Standalone模式启动 Spark 通讯架构 RPC RPC 是远程过程调用, Netty 就是一种基于 Actor 模型的 RPC 框架. 在 Hadoop 中 NN 与 DN 要通信, HBase 中 HMaster 和 HRegionServer 要进行通信,...
idea运行web项目控制台输出在哪？ idea java tomcat
2022-06-01 18:24

回答 2 已采纳你截个图，我找找
spark源码（零）阅读总纲
2022-06-25 11:03

Interest1_wyt的博客系统了解spark任务的提交，driver、application的调度与注册，资源的分配，executor的创建，job到stage再到task的切分过程，hdfs文件数据的读写操作，RDD本身的map reduce操作，持久化、check point的高可靠性容错性...
Spark on yarn——Spark提交任务到yarn集群源码分析
2021-08-07 12:44

编程小王子啊的博客 1. 当使用spark-submit命令提交任务时，处理类是SparkSubmit，核心代码如下： object SparkSubmit extends CommandLineUtils with Logging { override def main(args: Array[String]): Unit = { appArgs.action ...
没有解决我的问题, 去提问

悬赏问题

¥15 chaquopy python 安卓
¥50 Kubernetes&Fission&Eleasticsearch
¥15 有没有帮写代码做实验仿真的
¥15 報錯：Person is not mapped，如何解決？
¥30 vmware exsi重置后登不上
¥15 易盾点选的cb参数怎么解啊
¥15 MATLAB运行显示错误，如何解决？
¥15 c++头文件不能识别CDialog
¥15 Excel发现不可读取的内容
¥15 关于#stm32#的问题：CANOpen的PDO同步传输问题