Doris如何高效导入Excel文件（.xlsx/.xls）数据？

Question

**常见技术问题：** Doris本身不支持直接读取Excel（.xlsx/.xls）文件，用户常误以为可通过`LOAD LABEL`或Stream Load上传Excel二进制文件实现导入，结果报错“unsupported file format”或数据乱码。根本原因在于Doris的导入机制（如Stream Load、Broker Load、Routine Load）仅接受结构化文本格式（CSV/JSON/Parquet等），而Excel是二进制容器格式，需先解析行列、类型、公式、合并单元格等复杂结构。若用Python脚本逐行读取再拼接CSV后导入，小文件尚可，但面对百MB级Excel时易因内存溢出、类型推断错误（如数字被转为科学计数法）、时区/日期格式丢失等问题导致数据失真或导入失败。此外，缺乏事务保障与断点续传能力，重试成本高。因此，如何在保证数据精度、类型一致性与导入吞吐量的前提下，构建稳定、可监控、支持大文件的Excel→Doris自动化链路，是企业级应用中的典型痛点。

Answer 1

```html

一、现象层：典型报错与用户误操作模式

• 执行 curl -X PUT -H "label:excel_load" --data-binary @data.xlsx http://fe_host:8030/api/db/tbl/_stream_load 返回 {"Status":"Fail","Message":"unsupported file format"}
• 使用 Broker Load 指定 "path"="hdfs://xxx/data.xlsx"，BE 日志报 Invalid Excel magic number
• 用 pandas.read_excel() 读取后调用 to_csv(..., index=False) 导出再 Stream Load，10MB Excel 导致内存占用飙升至 8GB+，OOM 被 OS Kill
• 日期列（如 2024/03/15 14:22:08）在 CSV 中变为 45365.5987（Excel 序列号），Doris 导入后转为乱码时间戳

二、机理层：Doris 导入协议栈与 Excel 格式本质冲突

下图揭示核心矛盾：

graph LR A[Excel .xlsx] -->|ZIP容器+XML+Binary| B(OpenXML SDK / Apache POI) B --> C{结构解析层} C --> D[行列坐标映射] C --> E[单元格类型推断
（string/number/date/formula）] C --> F[合并单元格还原逻辑] C --> G[公式求值或占位标记] D --> H[Doris可接受格式] E --> H F --> H G --> H H -->|仅支持| I[CSV/JSON/Parquet/TXT] I --> J[Doris FE Parser → BE Load Process] J --> K[无事务/无回滚/无Checkpoint]

三、工程层：主流方案对比与缺陷归因

方案	吞吐量（100MB Excel）	精度保障	断点续传	监控能力	适用场景
纯 Pandas + CSV 中转	≈8 min（单线程）	❌ 日期/科学计数法失真	❌ 全量重试	❌ 仅靠 print	POC 验证
Apache Spark + Doris Spark Connector	≈2.3 min（8c16g集群）	✅ Schema 显式定义 + 类型强制	✅ RDD Checkpoint + WAL	✅ Spark UI + Metrics	中大型数据平台
Doris 2.1+ 自定义 External Table（Excel JDBC）	N/A（尚未官方支持）	⚠️ 依赖第三方 JDBC Driver 稳定性	❌ 无原生支持	❌ 日志粒度粗	实验性探索

四、架构层：企业级 Excel→Doris 可观测流水线设计

1. 前置校验服务：基于 openpyxl 流式读取首 100 行，校验空行、合并单元格占比、日期列正则匹配（\d{4}[-/]\d{1,2}[-/]\d{1,2}）
2. 智能类型引擎：对数值列启用 pd.to_numeric(..., downcast='integer') + 科学计数法防爆检测
3. 分块导出管道：将 Excel 拆为 50k 行/块，每块生成独立 CSV + SHA256 校验文件，写入对象存储（S3/OSS）
4. 幂等导入控制器：基于 Doris LOAD LABEL 唯一性 + MySQL 元数据库记录 file_id, block_no, status, md5
5. 可观测中枢：Prometheus Exporter 暴露指标 excel_import_blocks_total{status="success"} 120，Grafana 看板联动告警

五、实践层：生产就绪代码片段（Spark Scala）

// 1. 安全读取Excel（避免OOM）
val excelDF = spark.read
  .format("com.crealytics.spark.excel")
  .option("dataAddress", "'Sheet1'!A1:ZZ1000000") // 显式范围防全表扫描
  .option("useHeader", "true")
  .option("treatEmptyValuesAsNulls", "true")
  .option("inferSchema", "false") // 关闭自动推断！
  .schema(customSchema) // 强制指定：StructType(Seq(
                           //   StructField("order_date", DateType, true),
                           //   StructField("amount", DecimalType(18,2), false)
                           // ))
  .load("oss://bucket/excel/2024Q1_sales.xlsx")

// 2. 写入Doris（启用两阶段提交语义）
excelDF.write
  .format("doris")
  .option("doris.table.identifier", "db.tbl")
  .option("doris.fenodes", "fe1:8030,fe2:8030")
  .option("doris.user", "prod_user")
  .option("doris.password", "***")
  .option("doris.write.fields", "order_date,amount,cust_id")
  .option("doris.batch.size", "100000")
  .option("doris.enable.upsert.delete", "true") // 支持主键更新
  .mode("Append")
  .save()

```