我将spark1.6.1版本的源码导入到IDEA里了，想debug调试shuffle内存调度的模块，但是我将断点打到sortShuffleWriter里的write里后，执行的时候发现一直没有运行到断点，貌似
memory模块的其它部分打断点都不行，求大佬解释啊
怎样在IDEA里debug调试spark源码的shuffle内存调度模块？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2022-10-26 20:57回答 1 已采纳 估计你是按错按钮了或是你直接按了 F9。如果你想一行一行的进行调试，可以按照下图的按钮执行， 有个快捷方式 就是打完断点，程序启动后，直接F8 一行一行调试。 如果运行到你的 test() 方法那一
- 2022-04-19 11:52回答 2 已采纳 依赖和依赖的版本都要对上
- 2015-05-25 07:22回答 2 已采纳 看看你在debug的时候是否在方法上加了断点，如果在方法上加了断点，那么运行时非常慢。 设置如下： http://zhidao.baidu.com/link?url=hY2wE1DUe1kYFoJ
- 2016-07-28 18:48scalahome的博客 Shuffle应该说是Spark Core中较为复杂的部分，本文主要从一个最简单的WordCount例子出发分析Spark的Shuffle过程： sc.parallelize(1 to 1000).map(i=>(i%5,1)).reduceByKey(_+_).collect() 计算过程中会分成两个...
- 2022-01-19 10:00回答 3 已采纳 以debug模式启动项目，然后在代码的地方打断点，然后程序运行到那里之后这些按钮才会亮
- 2021-03-25 11:22回答 3 已采纳 这就是调用栈
- 2023-04-04 19:57回答 2 已采纳 你没下载jdk的源码，所以你的只能是class，视频中是down了源码的效果
- 2022-06-18 11:54Interest1_wyt的博客 上一篇文章中我们介绍了spark-submit脚本如何提交参数给spark服务器，以及spark如何发起一个spark application，最后spark application启动后又会调用我们自己编辑的WordCount主类。这里我们接着追踪源码介绍。 追踪...
- 2022-08-25 22:55回答 1 已采纳 没问题啊，就是这样的啊，。 进入断点也是在这里面。不影响使用啊
- 2022-08-10 19:29回答 3 已采纳 给你的Student类重写一下toString方法就可以了 public String toString() { return "name: " + this.name + "age
- 2021-05-20 10:47回答 2 已采纳 自己重新打开项目，run恢复正常。应该是idea2021.1版本的bug
- 2020-11-27 11:16不爱吃鱼的馋猫的博客 Spark源码解析1-通信框架与Standalone模式启动 Spark 通讯架构 RPC RPC 是远程过程调用, Netty 就是一种基于 Actor 模型的 RPC 框架. 在 Hadoop 中 NN 与 DN 要通信, HBase 中 HMaster 和 HRegionServer 要进行通信,...
- 2022-06-01 18:24回答 2 已采纳 你截个图，我找找
- 2022-06-25 11:03Interest1_wyt的博客 系统了解spark任务的提交，driver、application的调度与注册，资源的分配，executor的创建，job到stage再到task的切分过程，hdfs文件数据的读写操作，RDD本身的map reduce操作，持久化、check point的高可靠性容错性...
- 2021-08-07 12:44编程小王子啊的博客 1. 当使用spark-submit命令提交任务时，处理类是SparkSubmit，核心代码如下： object SparkSubmit extends CommandLineUtils with Logging { override def main(args: Array[String]): Unit = { appArgs.action ...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 程序不包含适用于入口点的静态Main方法
- ¥15 素材场景中光线烘焙后灯光失效
- ¥15 请教一下各位，为什么我这个没有实现模拟点击
- ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题
- ¥15 slam rangenet++配置
- ¥15 有没有研究水声通信方面的帮我改俩matlab代码
- ¥15 ubuntu子系统密码忘记