OBLOADER如何导入SQL脚本到OceanBase？

Question

使用OBLOADER导入SQL脚本到OceanBase时，常遇到“无法识别标准SQL文件格式”问题。用户误以为OBLOADER支持直接导入任意*.sql文本脚本，但实际上OBLOADER主要设计用于批量导入导出的dump数据（如CSV、SQL*Loader格式），而非执行通用DML/DDL脚本。当尝试导入包含建表语句或复杂插入的SQL文件时，易出现语法解析失败或跳过执行。正确做法是：应使用OceanBase客户端工具（如obclient）执行原始SQL脚本；若需通过OBLOADER导入数据，需确保数据已转换为OBLOADER支持的输入格式，并配置正确的导入模式与字段映射规则。

Answer 1

一、问题背景与认知误区

在使用 OceanBase 的数据导入工具 OBLOADER 时，许多用户会尝试将传统的 SQL 脚本文件（如 *.sql）直接作为输入源进行导入操作。这类脚本通常包含 DDL（如 CREATE TABLE）、DML（如 INSERT INTO）等标准 SQL 语句，广泛用于数据库初始化或迁移场景。

然而，当执行如下命令时：

obloader -f ./init_data.sql --host=127.0.0.1 --port=2883 -u test@sys --password=*** --database=test_db

系统常返回错误提示：“无法识别标准SQL文件格式”或“Unsupported file format”，导致导入中断。

根本原因在于：OBLOADER 并非通用 SQL 执行器，其核心定位是高性能批量数据导入导出工具，主要用于处理结构化 dump 数据，例如 CSV、TXT 或 Oracle SQL*Loader 格式的平面文件，而非解析任意语法的 SQL 文本。

二、OBLOADER 设计初衷与支持格式

OBLOADER 最初设计用于替代传统 ETL 工具中的数据抽取和加载环节，强调高吞吐、并行处理能力。它通过以下几种主要模式工作：

• --mode csv：导入逗号分隔值文件
• --mode sql：导入由 OBLOADER 自身导出的特定 SQL 插入语句（每行一个 INSERT，字段严格对齐）
• --mode mysql-loader：兼容 MySQL LOAD DATA INFILE 格式

这意味着，只有当 SQL 文件符合 OBLOADER 内部定义的“可解析插入语句”规范时，才能被正确读取。普通建表语句或复合逻辑的存储过程将被跳过或报错。

三、常见错误场景分析

SQL 类型	是否支持	OBLOADER 行为	典型错误信息
CREATE TABLE t1 (...)	否	忽略或报错	Parse error near 'CREATE'
INSERT INTO t1 VALUES (1,'a');	视格式而定	可能解析失败	Field count not match
INSERT INTO t1(id,name) VALUES (1,'a');	仅限 OBLOADER 导出格式	成功	-
BEGIN ... COMMIT;	否	跳过	Syntax not supported
UPDATE/DELETE 语句	不支持	忽略	Operation not allowed

四、正确技术路径选择

面对 SQL 脚本导入需求，应根据操作类型选择合适的工具链：

1. 执行原始 DDL/DML 脚本：使用 obclient 客户端工具，支持完整 SQL 语法解析。
2. 批量导入业务数据：先将数据转换为 CSV 或 OBLOADER 兼容的 SQL 格式，再通过 OBLOADER 加载。
3. 跨集群迁移结构+数据：结合 OBDUMPER 导出元数据与数据，再用 OBLOADER 回放。

示例：使用 obclient 执行 SQL 脚本

obclient -h127.0.0.1 -P2883 -utest@sys -p*** -Dtest_db < init_schema.sql

五、OBLOADER 成功导入的数据准备流程

若坚持使用 OBLOADER 导入数据部分，需完成以下预处理步骤：

# 1. 确保目标表已存在（通过 obclient 创建）
obclient -e "CREATE TABLE employees(id INT, name VARCHAR(50), dept_id INT);"

# 2. 准备 CSV 数据文件
echo -e "1,Alice,101\n2,Bob,102\n3,Cathy,101" > employees.csv

# 3. 使用 OBLOADER 导入
obloader --csv --file-dir ./data --table employees -c oceanbase -h 127.0.0.1 -P 2883 -u test@sys --password=*** -D test_db

六、架构级建议：构建标准化数据管道

对于企业级应用，推荐采用分层处理模型：

graph TD A[原始SQL脚本] --> B{类型判断} B -->|DDL| C[obclient 执行建表] B -->|DML数据| D[转换为CSV/TXT] D --> E[OBLOADER批量导入] C --> F[创建目标表结构] F --> E E --> G[验证数据一致性]

该流程确保了不同语义的操作由最适配的工具承担，避免功能越界带来的稳定性风险。