问题：SQL Server BCP导出CSV如何支持UTF-8编码？

Question

在使用 SQL Server BCP 工具导出数据为 CSV 格式时，一个常见的问题是：**如何确保导出的 CSV 文件支持 UTF-8 编码？** 由于 BCP 默认使用系统区域设置的代码页（如 Windows-1252），可能导致中文、日文等 Unicode 字符出现乱码。开发者常需面对如何配置 BCP 命令或调整数据格式文件，以正确输出 UTF-8 编码并保留特殊字符的问题。本文将解析几种有效方法，包括使用 `-C` 参数、格式文件配合 `-w` 选项，以及后续转换编码的可行性，帮助你实现真正支持 UTF-8 的 CSV 文件导出。

Answer 1

一、BCP 工具导出 CSV 文件的 UTF-8 编码问题概述

在 SQL Server 中，使用 BCP（Bulk Copy Program）工具导出数据为 CSV 格式时，一个常见的问题是：如何确保导出的 CSV 文件支持 UTF-8 编码？由于 BCP 默认使用系统区域设置的代码页（如 Windows-1252），可能导致中文、日文等 Unicode 字符出现乱码。

这个问题在多语言环境下尤为突出。开发者常需面对如何配置 BCP 命令或调整数据格式文件，以正确输出 UTF-8 编码并保留特殊字符的问题。

二、BCP 编码机制与默认行为分析

BCP 工具本质上是一个命令行实用程序，用于在 SQL Server 和数据文件之间快速导入导出数据。其默认行为受以下因素影响：

• 系统区域设置：决定了默认代码页，例如 Windows-1252（西欧语言）或 936（简体中文 GBK）。
• 字段与行分隔符：默认使用 \t 和 \n，但可通过参数修改。
• 字符编码处理：BCP 默认不支持 UTF-8，除非显式指定。

因此，若直接使用 BCP 导出包含中文或日文字符的表，可能会导致 CSV 文件在打开时出现乱码。

三、解决方案一：使用 -C 参数指定代码页

SQL Server BCP 支持通过 -C 参数指定代码页，例如：

bcp "SELECT * FROM MyTable" queryout "output.csv" -c -C 65001 -T -S myserver

参数	说明
-c	使用字符数据类型导出
-C 65001	指定代码页为 UTF-8（65001）
-T	使用信任连接
-S	指定服务器名称

此方法适用于大多数字符集，但需要注意：

• 目标系统必须支持 UTF-8 编码（如 Windows 10 1803 及以上版本）。
• 某些旧版本 SQL Server 可能不完全支持 UTF-8。

四、解决方案二：使用 -w 参数配合格式文件

使用 -w 参数可导出 Unicode 数据（UCS-2/UTF-16），然后通过转换工具将其转换为 UTF-8。该方法更通用，适用于所有 SQL Server 版本。

bcp "MyDatabase.dbo.MyTable" out "output_unicode.csv" -w -T -S myserver

导出的文件为 UTF-16LE 编码，可使用 PowerShell 或 Python 转换为 UTF-8：

powershell -Command "Get-Content output_unicode.csv | Set-Content -Encoding Utf8 output_utf8.csv"

graph TD A[BCP 导出] --> B[输出为 UTF-16] B --> C[使用脚本转换编码] C --> D[输出 UTF-8 CSV]

五、解决方案三：结合格式文件（Format File）精细控制

对于复杂字段结构，建议使用 XML 格式的格式文件（Format File）控制字段类型和编码。

创建格式文件示例：

bcp MyDatabase.dbo.MyTable format nul -f format.xml -x -w -T -S myserver

其中关键部分如下：

<FIELD ID="1" xsi:type="CharTerm" TERMINATOR="," MAX_LENGTH="100"/>

使用该格式文件导出数据：

bcp MyDatabase.dbo.MyTable out output.csv -f format.xml -T -S myserver

此方法可确保字段分隔符、编码格式等精确控制，适合企业级数据迁移。