sqoop从mysql中将表导到hdfs中

Question

在运行后卡在map任务运行部分
INFO mapreduce.Job: Running job: job_1749997214252_0001
任务始终处于ACCEPTED状态（资源等待）
修改过yarn-site.xml配置文件但没有用
这是运行的代码sqoop import -Dmapreduce.map.memory.mb=2048 --connect jdbc:mysql://127.0.0.1:3306/abcd --username ha -P --table courses --target-dir /my_data/courses --m 1

Answer 1

阿里嘎多学长整理AIGC生成，因移动端显示问题导致当前答案未能完全显示，请使用PC端查看更加详细的解答过程

sqoop从mysql中将表导到hdfs中

你遇到了Sqoop从MySQL中将表导到HDFS中卡在map任务运行部分的问题，任务始终处于ACCEPTED状态（资源等待）。下面是一些可能的解决方案：

1. 检查YARN资源：检查YARN的资源是否足够，是否有足够的容量来运行任务。如果资源不足，可以增加YARN的容量或减少任务的并发数。
2. 检查Sqoop配置：检查Sqoop的配置文件（通常是~/.sqoop/sqoop.properties），确保配置正确，例如连接字符串、用户名、密码等。
3. 检查MySQL连接：检查MySQL的连接是否正确，是否可以连接到MySQL数据库。
4. 检查HDFS空间：检查HDFS的空间是否足够，是否有足够的空间来存储数据。如果空间不足，可以增加HDFS的空间或删除一些无用的数据。
5. 检查MapReduce配置：检查MapReduce的配置文件（通常是~/.mapred/mapred-site.xml），确保配置正确，例如mapreduce的并发数、mapreduce的输出目录等。

如果以上解决方案都不能解决问题，可以提供更多的日志信息和配置文件，以便更好地 debug。

核心代码：

# 检查YARN资源
yarn application -list

# 检查Sqoop配置
cat ~/.sqoop/sqoop.properties

# 检查MySQL连接
mysql -h <host> -u <username> -p<password> <database>

# 检查HDFS空间
hadoop fs -du /path/to/hdfs/directory

# 检查MapReduce配置
cat ~/.mapred/mapred-site.xml