Java读取文件转JSON时，中文乱码如何解决？

Question

在Java中读取含中文的文本文件并转为JSON时，常见乱码问题多源于字符编码不一致：`FileReader`默认使用系统平台编码（如Windows的GBK），而文件实际为UTF-8（尤其IDEA/VS Code新建文件默认UTF-8），导致读取后JSON字符串出现“？？？”或方块。若后续用`ObjectMapper`解析，虽可能不报错，但中文字段已损坏；更严重者，`InputStreamReader`未显式指定`Charset.forName("UTF-8")`，或`Files.readString(path)`未传入`StandardCharsets.UTF_8`，均会触发隐式编码转换失败。此外，Spring Boot中`Resource.getFile()`配合`FileReader`也易踩此坑。根本解法是**全程显式声明UTF-8编码**——读取时用`Files.newBufferedReader(path, StandardCharsets.UTF_8)`或`new InputStreamReader(is, StandardCharsets.UTF_8)`，避免依赖默认编码。务必检查文件真实编码（可用Notepad++验证），并统一项目源码、IDE、JVM file.encoding 配置。

Answer 1

```html

一、现象层：乱码的直观表现与典型错误日志

开发者常遇到如下症状：

• JSON字符串中中文显示为???、、方块（）或拉丁扩展字符（如\u676e未解码）；
• ObjectMapper.readValue(jsonStr, Xxx.class)静默成功，但实体类字段值为空或含非法字符；
• Spring Boot中@Value("classpath:data.json") Resource resource + resource.getFile()后用FileReader读取，抛出MalformedInputException或解析后中文全损；
• 同一段代码在Linux（UTF-8默认）运行正常，在Windows（GBK默认）必现乱码。

二、机制层：Java I/O 编码链路的隐式陷阱

Java字符流编码失效本质是**多环节默认编码不一致导致的“编码漂移”**。关键路径如下：

1. 文件存储编码（物理层）→ 如UTF-8 BOM/无BOM、GBK、ISO-8859-1；
2. IDE新建/保存配置（如IntelliJ → File Encoding设为UTF-8，但Default encoding for properties files可能为GBK）；
3. JVM启动参数：-Dfile.encoding=GBK（Windows常见，覆盖系统locale）；
4. API调用时的隐式选择：FileReader继承InputStreamReader且无参构造强制使用Charset.defaultCharset()；
5. Files.readString(Path)若不传Charset，同样委托给defaultCharset()；
6. Spring Resource.getInputStream()返回原始字节流，若未包装为InputStreamReader并指定UTF-8，则后续转换必然失真。

三、验证层：精准识别文件真实编码的方法论

依赖“肉眼判断”或IDE状态栏极易误判。推荐组合验证：

工具	操作方式	可靠性
Notepad++	打开文件 → 右下角查看编码（如“UTF-8-BOM”、“ANSI”即GBK）、尝试“转为UTF-8无BOM”后保存再测试	★ ★ ★ ★ ☆
Linux file -i	file -i data.json 输出 charset=utf-8 或 charset=iso-8859-1	★ ★ ★ ★ ★
Java程序检测	使用Apache Tika的EncodingDetector或juniversalchardet库进行概率识别	★ ★ ★ ☆ ☆

四、解决层：全链路UTF-8显式声明的黄金实践

以下代码片段均经JDK 11+ & Spring Boot 3.x实测有效：

// ✅ 推荐：Files API（JDK11+）
String json = Files.readString(Paths.get("data.json"), StandardCharsets.UTF_8);

// ✅ 推荐：BufferedReader（兼容JDK8+）
try (BufferedReader reader = Files.newBufferedReader(Paths.get("data.json"), StandardCharsets.UTF_8)) {
    String json = reader.lines().collect(Collectors.joining("\n"));
}

// ✅ Spring Boot Resource安全读取
try (InputStream is = resource.getInputStream();
     Reader reader = new InputStreamReader(is, StandardCharsets.UTF_8);
     BufferedReader br = new BufferedReader(reader)) {
    String json = br.lines().collect(Collectors.joining("\n"));
}

五、治理层：项目级编码统一配置矩阵

单点修复治标，体系化配置治本。需同步校准以下5个维度：

graph LR
A[IDE设置] -->|IntelliJ: File Encodings → Project Encoding = UTF-8| B(统一源头)
C[JVM启动参数] -->|-Dfile.encoding=UTF-8| B
D[编译插件] -->|maven-compiler-plugin → <encoding>UTF-8</encoding>| B
E[构建工具] -->|Gradle: compileJava.options.encoding = 'UTF-8'| B
F[源码提交规范] -->|Git: core.autocrlf=true + .gitattributes 设置 *.json text eol=lf| B

六、进阶警示：BOM与JSON解析的隐性冲突

UTF-8 BOM（EF BB BF）虽属合法UTF-8，但ObjectMapper默认不跳过BOM，会导致：

• JsonProcessingException: Unexpected character (0xEF)；
• 即使忽略异常，首字段名前缀含不可见字符，映射失败；
• 解决方案：使用JsonFactory配置setCharacterDecoder，或预处理移除BOM（StringUtils.stripStart(str, "\uFEFF")）。

七、兜底策略：运行时动态编码自适应方案

当无法控制上游文件编码时，可引入容错读取器：

public static String readWithFallback(Path path) throws IOException {
    for (Charset cs : Arrays.asList(StandardCharsets.UTF_8, Charset.forName("GBK"), 
                                     Charset.forName("ISO-8859-1"))) {
        try {
            return Files.readString(path, cs);
        } catch (MalformedInputException | CoderMalfunctionError ignored) {}
    }
    throw new IOException("Unable to decode file with any known charset");
}

八、生态联动：Maven/Gradle构建阶段编码注入

避免开发环境与CI环境差异，强制构建时注入编码：

构建工具	配置项	说明
Maven	<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>	影响resources:copy-resources及compiler
Gradle	compileJava.options.encoding = 'UTF-8' tasks.withType(JavaCompile).configureEach { options.encoding = 'UTF-8' }	覆盖所有Java编译任务

```