fitz.open打开PDF中文乱码如何解决？

Question

使用 `fitz.open()` 打开含中文文本的 PDF 时，提取文字出现乱码是常见问题。其主因是 PDF 中的中文字符使用了未嵌入或非标准编码的字体，导致 PyMuPDF（fitz）无法正确解析字形到 Unicode 的映射。尤其在扫描版或部分压缩处理的 PDF 中更为明显。如何解决 fitz.open 打开 PDF 中文乱码问题？可尝试嵌入支持中文的字体、启用 OCR 处理，或结合 `pdfplumber`、`PyPDF2` 等工具辅助识别。此外，确保系统中安装了中文字体库，并在必要时通过 `fitz.Font` 手动指定编码映射，也是提升中文识别准确率的关键措施。

Answer 1

1. 问题背景与现象描述

在使用 fitz.open()（即 PyMuPDF）处理包含中文文本的 PDF 文件时，开发者常遇到提取文字出现乱码的问题。该现象表现为原本应为“中文”的字符被解析为“□□”、“”或无意义的符号。

此问题的根本原因在于 PDF 文档中的中文字体未正确嵌入或使用了非标准编码方案，导致 PyMuPDF 无法建立字形（glyph）到 Unicode 字符的准确映射关系。

尤其在以下场景中更为普遍：

• 扫描生成的 PDF（图像型 PDF）
• 经过压缩或优化处理的文档
• 使用特殊字体但未嵌入子集的排版文件
• 跨平台创建且未统一编码规范的 PDF

2. 核心机制分析：为何 fitz 提取中文会乱码？

PDF 文件通过“字体字典”和“ToUnicode CMap”来实现字符映射。当 PDF 使用自定义或缺失 ToUnicode 映射表的中文字体时，fitz 将无法将字形索引转换为对应的 Unicode 码位。

以下是典型错误路径流程图：

mermaid
    graph TD
        A[打开PDF] --> B{是否存在ToUnicode CMap?}
        B -- 否 --> C[尝试默认编码]
        C --> D[映射失败 → 输出乱码]
        B -- 是 --> E[正常解析Unicode]
        E --> F[正确显示中文]
    

3. 解决方案层级结构（由浅入深）

层级	方法	适用场景	实施难度
1	检查系统字体支持	本地环境缺失中文字体	低
2	启用 pdfplumber 辅助解析	结构化文本提取	中
3	结合 OCR 引擎（如 Tesseract）	扫描版PDF	高
4	手动注入 ToUnicode 映射	高级修复定制字体	极高
5	替换字体并重渲染页面	可编辑PDF修改	高

4. 实践方案一：确保系统具备中文字体支持

许多乱码问题源于操作系统未安装常用中文字体（如 SimSun、Microsoft YaHei、FangSong）。可通过以下命令验证：

# Linux 查看已安装字体
fc-list :lang=zh

# Windows 检查 C:\Windows\Fonts 是否存在 simsun.ttc

若缺失，建议安装开源字体如 Noto Sans CJK 或思源黑体，并重启 Python 运行环境。

5. 实践方案二：结合 pdfplumber 提升解析能力

pdfplumber 在底层也依赖 fitz，但其对文本布局和编码处理更细致。示例代码如下：

import pdfplumber

with pdfplumber.open("chinese_doc.pdf") as pdf:
    for page in pdf.pages:
        text = page.extract_text()
        print(text)  # 更大概率保留中文

注意：仍受限于原始 PDF 的编码完整性，不适用于图像型文档。

6. 实践方案三：启用 OCR 处理图像型 PDF

对于扫描件或纯图像 PDF，必须采用 OCR 技术进行识别。推荐使用 pytesseract + fitz 联合处理：

import fitz
import pytesseract
from PIL import Image

doc = fitz.open("scanned.pdf")
for page_num in range(len(doc)):
    pix = doc[page_num].get_pixmap(dpi=150)
    img = Image.frombytes("RGB", [pix.width, pix.height], pix.samples)
    text = pytesseract.image_to_string(img, lang='chi_sim+eng')
    print(f"Page {page_num + 1}:\n{text}")

7. 实践方案四：手动修复字体编码映射

针对特定字体缺失 ToUnicode 表的情况，可利用 fitz.Font 手动构建映射：

font = fitz.Font("china-ss")  # 内置支持宋体
cmap = font.get_cmap()  # 获取编码映射
# 可导出至 CMap 文件供后续注入

进阶做法是使用工具如 AFMParser 或 FontTools 提取字体语义并重建 CMap。

8. 综合策略建议

面对复杂 PDF 中文乱码问题，建议采取分层判断策略：

1. 先用 pdfplumber 尝试直接提取
2. 检测是否为图像型 PDF（通过 page.get_images()）
3. 若是图像，则切换至 OCR 流程
4. 若为文本型但乱码，检查字体嵌入状态：page.getFontList()
5. 确认是否缺少 ToUnicode 表
6. 考虑使用 Ghostscript 预处理优化 PDF 结构
7. 最后手段：人工标注样本 + 模型微调识别