Sqoop使用数据仓库工具hive，以及使用Sqoop实现将数据从mysql导入到hdfs中（相关搜索：数据库创建|数据类型|数据库）

Question

（1）通过“CREATE TABLE新表（SELECT 字段1，字段2,--- --- FROM 原表）”格式将前面MySQL中的score表的course_no、course_name、credit列数据创建到score1表
（2）进入hive，使用默认数据库创建myscore表中，表中各列使用分割符为制表符“\t”,
表中字段如下：
列名 数据类型
Id Int
Name string
Credit int
创建成功
（3）使用Sqoop将MySQL中college数据库score1表中的所有数据导入到HDFS分布式存储系统的/user/hive/warehouse/myscore目录下，导入成功

Answer 1

以下内容由CHATGPT及阿里嘎多学长共同生成、有用望采纳：

---

您想要解决的问题

您提问的目的是解决如何使用Sqoop工具将MySQL数据库中的数据导入到Hadoop生态系统中的Hive数据仓库，并且将数据存储在HDFS上。

问题出现原因

这个问题出现的原因可能包括：

1. 对Sqoop和Hive的集成使用不熟悉。
2. 不清楚如何在Hive中创建表并指定字段分隔符。
3. 需要了解如何将MySQL中的数据通过Sqoop导入到HDFS上，并确保数据格式正确。

问题解决方案

为了解决您的问题，以下是使用Sqoop将MySQL数据库中的数据导入到Hive表并存储在HDFS上的步骤：

1. 在MySQL中创建score1表：

   CREATE TABLE score1 AS
   SELECT course_no, course_name, credit
   FROM score;
   

2. 在Hive中创建myscore表：

   CREATE TABLE myscore(
     Id INT,
     Name STRING,
     Credit INT
   ) ROW FORMAT DELIMITED
   FIELDS TERMINATED BY '\t'
   STORED AS TEXTFILE;
   

3. 使用Sqoop导入数据： 首先，确保HDFS上的目标目录存在，例如：

   hdfs dfs -mkdir -p /user/hive/warehouse/myscore
   

   然后，使用Sqoop命令将数据从MySQL的score1表导入到HDFS：

   sqoop import \
     --connect jdbc:mysql://<mysql-host>:<port>/college \
     --username <username> \
     --password <password> \
     --table score1 \
     --target-dir /user/hive/warehouse/myscore \
     --fields-terminated-by '\t' \
     --fields-escaped-by '\\' \
     --lines-terminated-by '\n' \
     --input-null-string '\\N' \
     --input-null-non-string '\\N'
   

提供代码

上述步骤中的SQL和Sqoop命令即为解决问题的代码。

代码运行方式

• 确保您的环境已经安装了MySQL、Hadoop和Hive。
• 确保Sqoop已经配置好，并且可以连接到MySQL和HDFS。
• 在Hive命令行界面或者通过Hive的客户端工具执行SQL命令。
• 在终端或者通过Sqoop的客户端工具执行Sqoop命令。

代码预期运行结果

• MySQL中的score表数据将被复制到新的score1表。
• Hive中将创建一个新的myscore表。
• Sqoop将把score1表的数据导入到HDFS的指定目录中。

推荐相关链接

• Sqoop官方文档
• Hive官方文档
• MySQL官方文档
• Hadoop HDFS文档