lmw0320 2021-07-16 08:59 采纳率: 83.3%
浏览 219
已结题

spark-submit提交py文件,一直提示资源不足~~

spark-submit问题,具体情况如下:(目的是使用py代码连接hbase获取相应数据)

进入pyspark交互环境下的yarn模式,可以在RM的UI界面看到相应的任务,也可以正常连接hbase获取数据。

使用spark-submit提交相同的py代码,也同样在yarn模式下,却无法正常执行。RM的UI中看不到相应的任务提交,执行过程中会一直提示:WARN scheduler.TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
而如果结束该任务,在Spark的History Sever可以看到任务的提交记录。。

环境情况说明下:
1)CDH-6.3.2的集成大数据平台安装了完整的spark, hadoop, hbase等;
2)我测试过,pyspark的交互环境下,用local和yarn模式,都可以正常获取hbase数据。而如果用standalone模式,却不行,也是报资源不足的问题(进入这个交互环境的命令是 pyspark --master spark://r1:7077)
3) 使用spark-submit方式提交任务,不论是local、yarn,还是standalone模式,都是提示资源不足的情况。
这个问题要怎么解决??

  • 写回答

1条回答

      报告相同问题?

      相关推荐 更多相似问题

      问题事件

      • 已结题 7月23日
      • 已采纳回答 7月23日
      • 创建了问题 7月16日

      悬赏问题

      • ¥15 layui upload.render 问题 有偿
      • ¥15 “with “is not allowed in strict mode
      • ¥15 ADS2020使用村田数据库仿真出错
      • ¥15 如何解决爬取网站不定时不返回数据
      • ¥20 有几个关于fpga的基础问题黑盒仿真,建立保持时间,和仿真覆盖理论。
      • ¥20 如何在NCBI上下载高通量的测序数据
      • ¥15 L型TFET的器件参数
      • ¥15 nacos启动失败,文件夹权限
      • ¥20 vb6.0窗体中的vscroll控件无法响应鼠标滚轮事件,请教方法
      • ¥15 如何在linux服务器做视频静态资源访问接口