knightjsh 2020-06-19 16:33 采纳率: 100%
浏览 1234
已采纳

sqoop执行mysql导入hdfs,卡住在mapreduce.Job: Running job: job_1592553833488_0001

虚拟硬盘空间总20g,但仅用了3g,内存总容量1624MB。本以为容量不足原因扩容了,查找了网上的方法在yarn-site.xml中添加设置:

yarn-site.xml 结尾添加:

<property>  
<name>yarn.nodemanager.resource.memory-mb</name>  
<value>1600</value>  
</property>  
<property>  
<name>yarn.scheduler.minimum-allocation-mb</name>  
<value>1024</value>  
</property>  
<property>  
<name>yarn.nodemanager.vmem-pmem-ratio</name>  
<value>2.1</value>  
</property>  

但是依然没有效果,之前配置yarn.nodemanager.resource.memory-mb项为1024,运行时出现报错所需内存1536>可调用内存1524,最后添加到1600

运行没有报错,就卡住在这里,十分钟后发现实在不动就退出了
图片说明

查看hadoop日志文件夹下的yarn-root-resourcemanager-master.log,发现最近一次的日志如下:

INFO org.apache.hadoop.yarn.server.resourcemanager.rmapp.attempt.RMAppAttemptImpl: appattempt_1592553833488_0001_000001 State change from SUBMITTED to SCHEDULED

执行sqoop指令如下:

sqoop import -connect jdbc:mysql://master:3306/db_jbw -username sqoop -password 123 -table tbl_sqoop -m 1 -target-dir /mysqoop/out

求大神指教!!!

  • 写回答

1条回答 默认 最新

  • 关注
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 已采纳回答 4月26日

悬赏问题

  • ¥50 关于多次提交POST数据后,无法获取到POST数据参数的问题
  • ¥15 win10,这种情况怎么办
  • ¥15 如何在配置使用Prettier的VSCode中通过Better Align插件来对齐等式?(相关搜索:格式化)
  • ¥100 在连接内网VPN时,如何同时保持互联网连接
  • ¥15 MATLAB中使用parfor,矩阵Removal的有效索引在parfor循环中受限制
  • ¥20 Win 10 LTSC 1809版本如何无损提升到20H1版本
  • ¥50 win10 LTSC 虚拟键盘不弹出
  • ¥30 微信小程序请求失败,网页能正常带锁访问
  • ¥15 Matlab求解微分方程,如何用fish2d进行预优?
  • ¥50 CrossLink-LIF-MD6000 型 FPGA 的 CMOS 转 MIPI D-PHY IP 核功能使用异常