Python处理PDF时中文乱码如何解决？

Question

在使用Python的`PyPDF2`或`pdfplumber`等库提取含中文文本的PDF内容时，常出现中文乱码问题。主要原因是PDF中的文字采用特定编码（如GBK或自定义字体子集），而解析库默认以ASCII或UTF-8解码，导致无法正确识别中文字符。此外，部分PDF使用嵌入字体但未映射到Unicode，进一步加剧乱码。如何在不损坏原始内容的前提下，准确提取并还原中文文本？这是开发者在处理中文PDF时普遍面临的挑战。

Answer 1

1. 中文PDF文本提取乱码问题的表层现象分析

在使用 PyPDF2 或 pdfplumber 提取包含中文的 PDF 文件时，开发者常遇到如下输出：

中文字符乱码

这种现象表明原始字节流被错误地以 UTF-8 解码，而实际内容可能是 GBK 编码或基于自定义字体映射的字形索引。此类问题多出现在扫描件、非标准生成工具导出的文档中。

• PyPDF2 对文本编码处理能力较弱，尤其不支持 CMap（字符映射）解析。
• pdfplumber 虽基于 PDFMiner.six，但默认仍假设 Unicode 映射存在。
• 部分 PDF 使用 Type 3 字体或子集嵌入，未提供 ToUnicode CMap 表。

2. 深层技术机制剖析：PDF文本编码与字体系统

PDF 文档中的文本绘制依赖于以下核心结构：

组件	作用	常见问题
Font Dictionary	定义字体名称、类型和编码方式	缺失 ToUnicode CMap
CMap (Character Code to Unicode)	将字形编码转换为 Unicode	未嵌入或损坏
Glyph Substitution	使用自定义字形替代标准字符	无法逆向映射
Encoding	指定字符代码到字形的映射	采用 WinAnsiEncoding 或自定义

当 PDF 使用嵌入的 GBK 子集字体且未提供 ToUnicode 映射时，解析器只能获取字形编号（如 /F1 12 Tf (ABC) Tj），而无法还原其语义内容。

3. 常见解决方案路径对比

1. 尝试强制解码：对提取的字节流使用 GBK/GB2312 解码，适用于简单编码混淆场景。
2. 利用 PDFMiner 更深层 API：通过 LAParams 和 TextConverter 控制编码行为。
3. 图像化处理 OCR：将 PDF 页面转为图像后使用 PaddleOCR 或 Tesseract 进行识别。
4. 构建自定义 CMap 映射库：针对固定模板 PDF 手动校准字形到汉字的映射关系。
5. 结合 JavaScript 工具链：使用 Mozilla 的 pdf.js 在浏览器环境中渲染并提取文本。

from pdfminer.high_level import extract_text
import codecs

# 尝试使用 pdfminer 直接提取，并指定编码上下文
text = extract_text("chinese_doc.pdf")
print(text)  # 可能仍出现乱码

# 若已知原始编码为 GBK，尝试手动修复
with open("output.txt", "wb") as f:
    f.write(text.encode("utf-8"))

# 后续可用 external tool 转换编码
# iconv -f utf-8 -t gbk output.txt

4. 高级策略：基于 PDF 结构的深度解析流程

graph TD A[输入PDF文件] --> B{是否含可选ToUnicode CMap?} B -- 是 --> C[使用PDFMiner解析CMap映射] B -- 否 --> D[检查字体子集是否为GBK编码] D --> E{是否存在已知编码模式?} E -- 是 --> F[应用预设解码规则GBK/Big5] E -- 否 --> G[转为图像 + OCR识别] C --> H[输出结构化中文文本] F --> H G --> H

该流程体现了从结构解析到降级兜底的完整策略链。关键在于判断 PDF 是否具备语义层级的文本映射信息。

5. 实战案例：修复某财务报表PDF的中文提取

某企业年报 PDF 使用 AdobeCJK-Song-Light 字体，但 ToUnicode 缺失。我们采用如下步骤：

# step1: 使用 pdfplumber 查看字体信息
import pdfplumber
with pdfplumber.open("report.pdf") as pdf:
    first_page = pdf.pages[0]
    print(first_page.chars[0]["fontname"])  # 输出: ABCDEF+SongStd-Light

# step2: 判断是否为常见中文字体子集
# 发现编码为 WinAnsiEncoding，但实际内容为 GBK 字形

# step3: 回退至 OCR 方案
from PIL import Image
import fitz  # PyMuPDF
import pytesseract

doc = fitz.open("report.pdf")
for page_num in range(len(doc)):
    pix = doc[page_num].get_pixmap()
    img = Image.frombytes("RGB", [pix.width, pix.height], pix.samples)
    text = pytesseract.image_to_string(img, lang='chi_sim')
    print(text)

6. 构建可持续的中文PDF处理框架建议

为应对多样化的中文 PDF 来源，推荐建立分层处理架构：

• 第一层：尝试使用增强版 PDFMiner 解析 CMap 和字体编码。
• 第二层：对失败文档自动转入图像化 OCR 流程。
• 第三层：引入机器学习模型预测字体编码类型（如区分 GBK vs Big5）。
• 第四层：缓存常见模板的字形映射，提升后续处理效率。

此外，可集成 fontTools 库分析嵌入字体的 cmap 表，辅助还原原始字符集。