数仓sqoop将业务端MySQL的数据导到ODS层对应hive表

Question

http://t.csdnimg.cn/DLJHJ

这段代码是《基于hive教育平台数据仓库分析案例二》中的 数据采集 的 DIM层维度表 里的一段代码，我想问问这段代码是放在脚本里面执行吗，还是放在哪里执行。要是放在脚本里执行这个脚本应该怎么写

Answer 1

引自免费微信小程序：皆我百晓生

这段代码是用于使用Sqoop工具从MySQL数据库导入数据到Hive表的命令。通常，这样的命令可以在Shell脚本中执行。你可以编写一个Shell脚本（比如命名为data_import.sh），然后在该脚本中执行这段Sqoop命令。以下是脚本的基本结构：

#!/bin/bash

# 设置Sqoop命令的常用参数和变量
sqoop_cmd="sqoop import"
connect_string="jdbc:mysql://192.168.52.150:3306/scrm"
username="root"
password="123456"
query="你的查询语句，如：SELECT * FROM customer WHERE starttime='2021-09-27'" # 注意替换为你实际的查询语句
hcatalog_database="itcast_dimen"
hcatalog_table="customer"
m_num=1 # 表示线程数或其他参数，根据你的需求设置这个值

# 执行Sqoop命令，将数据从MySQL导入到Hive表
$sqoop_cmd \
--connect $connect_string \
--username $username \
--password $password \
--query $query \
--hcatalog-database $hcatalog_database \
--hcatalog-table $hcatalog_table \
-m $m_num

你可以将上述代码保存到一个文件中（例如命名为data_import.sh），然后在终端中使用以下命令运行脚本：

bash data_import.sh

请注意以下几点：

• 确保你的机器上已经安装了Sqoop和Hive，并且配置正确。
• 确保MySQL数据库服务正在运行，并且可以从你的机器上访问。你可能需要根据你的网络配置调整数据库连接字符串中的IP地址和端口号。
• 确保你的查询语句是正确的，并且与你的MySQL表结构匹配。在上面的示例中，我使用了占位符你的查询语句，你需要替换为实际的查询语句。并且根据你的需求修改查询条件等。
• --hcatalog-database 和 --hcatalog-table 参数后面的值分别表示Hive数据库名和表名。确保这些名称与你的Hive环境匹配。