记事本保存UTF-8文件为何打开后中文乱码？

Question

记事本保存UTF-8文件后中文乱码，根本原因在于Windows记事本对UTF-8编码的“无BOM”与“有BOM”处理机制差异。默认情况下，记事本在“另存为”时若选择“UTF-8”，实际保存的是**带BOM（Byte Order Mark）的UTF-8**；而若通过其他编辑器（如VS Code、Notepad++）以“UTF-8无BOM”格式保存，再用记事本打开，就极易因缺少BOM导致其错误识别为ANSI（如GBK），从而显示乱码。此外，Windows旧版记事本（Win10 1903前）甚至不支持无BOM UTF-8自动检测，完全依赖BOM判断编码。另一常见诱因是：用户误选“UTF-8”保存后，又用非Unicode程序（如老旧批处理、FTP工具或某些终端）读取，因缺乏BOM或编码声明而解析失败。简言之——乱码不是UTF-8本身有问题，而是记事本编码识别逻辑保守、BOM依赖性强，且跨工具协作时编码约定不统一所致。

Answer 1

```html

一、现象层：记事本打开UTF-8文件显示乱码的直观表现

• 中文文本在记事本中显示为“涓枃”“锟斤拷”“??”等不可读字符；
• 同一文件用VS Code/Notepad++打开正常，用记事本打开即乱码；
• 文件属性中“编码”字段为空或显示为“ANSI”，而非“UTF-8”；
• 双击打开乱码，但右键→“用记事本打开”后仍乱码，排除关联错误；

二、机制层：Windows记事本的编码识别逻辑与BOM强耦合性

记事本（尤其是Win10 1903及更早版本）采用**启发式+优先级编码探测算法**，其判定顺序为：

1. 检测文件开头是否含UTF-8 BOM（EF BB BF）→ 若有，强制按UTF-8解码；
2. 否则检查是否含UTF-16 LE/BE BOM → 若有，按对应Unicode变体解码；
3. 若无任何BOM，则默认回退至系统ANSI代码页（如简体中文系统为GBK/CP936）；
4. 不执行UTF-8无BOM内容的统计分析（如字节模式合法性校验），亦不支持RFC 3629多字节序列智能推断。

三、工具链层：跨编辑器协作中的编码约定断裂点

编辑器	默认“UTF-8”保存行为	是否可显式选“UTF-8无BOM”	对记事本兼容性
Windows 记事本（Win10 21H2+）	✅ 自动写入UTF-8+BOM	❌ 无此选项	✅ 自身打开无问题
VS Code	❌ 默认UTF-8无BOM	✅ 可通过命令面板切换	⚠️ 记事本打开易乱码
Notepad++	❌ 默认UTF-8无BOM	✅ 编码菜单明确区分	⚠️ 同上

四、系统层：历史包袱与API兼容性约束

Windows记事本底层依赖IsTextUnicode()与MultiByteToWideChar(CP_ACP, ...)等旧API，其设计初衷面向ANSI时代。关键限制包括：

• Win7/Win8.1记事本完全忽略UTF-8无BOM文件的语义，强制按GetACP()返回的本地代码页解析；
• 即使Win10 1903起引入“UTF-8无BOM自动检测”（需启用“Beta: Use Unicode UTF-8 for worldwide language support”），该功能仅影响新进程的默认代码页，不改变记事本自身的探测逻辑；
• PowerShell Get-Content、CMD type、传统BAT脚本均无BOM感知能力，加剧跨工具链解析歧义。

五、工程实践层：可落地的全栈解决方案

graph TD A[源头控制] --> B[统一编辑器编码策略] A --> C[CI/CD层编码校验] B --> D[VS Code设置"files.encoding": "utf8bom"] B --> E[Notepad++设置默认编码为UTF-8-BOM] C --> F[Git hooks校验*.txt/*.log文件首3字节是否为EF BB BF] C --> G[Python脚本批量修复无BOM UTF-8：
with open(f, 'rb') as r: data = r.read()
if not data.startswith(b'\xef\xbb\xbf'): data = b'\xef\xbb\xbf' + data]

六、架构启示：编码治理应纳入DevOps质量门禁

建议在团队级工程规范中明确定义：

• 【强制】所有面向Windows终端用户交付的文本配置文件（.ini/.bat/.ps1/.csv），必须以UTF-8+BOM保存；
• 【推荐】服务端日志/JSON/API响应等纯机器消费内容，使用UTF-8无BOM + 显式Content-Type: text/plain; charset=utf-8声明；
• 【审计】将file -i或uchardet集成至流水线，对非二进制文本文件做编码合规扫描；
• 【教育】在入职培训中演示xxd -g1 sample.txt | head -5查看BOM字节，建立底层字节意识。

```