Python读取PDF时中文乱码如何解决？

Question

在使用Python读取包含中文内容的PDF文件时，常出现中文乱码问题。该问题多源于PDF文本编码未正确识别或解析库（如PyPDF2、pdfplumber）对Unicode支持不完善，导致汉字显示为问号或乱码字符。尤其当PDF由扫描件或非标准字体生成时，缺乏可提取的文本层或内嵌字体未映射到系统字体，加剧了解析困难。如何确保准确提取并正常显示中文内容，成为实际项目中常见且亟待解决的技术难题。

Answer 1

一、中文PDF文本提取乱码问题的根源与挑战

在使用Python处理包含中文内容的PDF文件时，开发者常遇到文本提取后出现乱码、问号（?）或方框字符等问题。这类问题并非单一因素导致，而是由PDF文档结构、字体嵌入机制、编码方式及解析库能力共同作用的结果。

PDF文件本质上是复合型容器格式，其文本内容可能以以下几种形式存在：

• 纯文本流（可复制粘贴）
• 图像化文本（扫描件，需OCR）
• 自定义编码或子集字体嵌入
• 未映射到Unicode的字形索引

当PDF中使用了非标准中文字体（如华文楷体、仿宋等）且仅嵌入字形子集时，解析器无法通过默认编码映射还原原始汉字，从而导致乱码。

二、常见Python PDF解析库对比分析

库名称	支持中文	Unicode处理	适用场景	主要限制
PyPDF2 / PyPDF4	弱	差	简单文本提取	不支持复杂编码映射
pdfplumber	中等	一般	表格和布局分析	依赖底层PDFMiner，对内嵌字体处理有限
pdfminer.six	较强	较好	深度文本解析	配置复杂，需手动处理编码
camelot / tabula-py	间接支持	依赖底层引擎	表格数据提取	不适合段落文本
PyMuPDF (fitz)	强	优秀	高性能文本/图像混合提取	学习曲线较陡

三、技术解决方案演进路径

1. 初级方案：尝试调整解码方式 —— 对提取后的字符串进行编码重置，如使用.encode('latin1').decode('utf-8')尝试修复编码错位。
2. 中级方案：利用PDFMiner定制编码映射 —— 通过覆写PDFDevice和PDFInterpreter实现字体到Unicode的映射逻辑。
3. 高级方案：结合OCR处理扫描件 —— 使用pytesseract + opencv-python对图像型PDF进行光学识别，绕过文本层缺失问题。
4. 综合方案：PyMuPDF + 字体逆向分析 —— 利用fitz访问字体对象，提取ToUnicode CMap，重建字符映射表。

四、基于PyMuPDF的实战代码示例

import fitz  # PyMuPDF
import re

def extract_chinese_text(pdf_path):
    doc = fitz.open(pdf_path)
    full_text = ""
    
    for page_num in range(len(doc)):
        page = doc.load_page(page_num)
        text = page.get_text("text", flags=fitz.TEXT_DEHYPHENATE)
        
        # 尝试修复常见编码异常
        try:
            if isinstance(text, str):
                # 预防性清理
                text = re.sub(r'[\x00-\x1f\x7f-\x9f]', '', text)
        except Exception as e:
            print(f"编码清洗出错: {e}")
            
        full_text += text + "\n"
    
    return full_text

# 使用示例
content = extract_chinese_text("example_zh.pdf")
print(content)

    

五、处理内嵌字体与CMap映射的进阶策略

对于含有自定义编码的PDF，必须解析其ToUnicode CMap。以下是使用PyMuPDF读取字体映射的关键步骤：

• 获取页面资源中的/Font条目
• 检查每个字体是否包含ToUnicode流
• 解析CMap规则，建立cid → unicode映射表
• 在提取时动态替换原始字符

六、OCR辅助方案流程图

graph TD
            A[输入PDF文件] --> B{是否为扫描件？}
            B -- 是 --> C[使用pdf2image将PDF转为图像]
            C --> D[调用pytesseract进行OCR识别]
            D --> E[输出UTF-8编码的中文文本]
            B -- 否 --> F[尝试PyMuPDF直接提取]
            F --> G{是否存在乱码？}
            G -- 是 --> H[启用字体分析+CMap修复]
            G -- 否 --> I[输出正常文本]
            H --> J[重构字符映射并重新提取]
            J --> E
            I --> E

七、最佳实践建议清单

• 优先使用PyMuPDF (fitz)作为主解析引擎
• 对业务关键PDF建立“字体白名单”机制
• 预处理阶段判断PDF类型（原生 vs 扫描）
• 部署OCR服务作为后备通道（如Tesseract + 中文语言包）
• 日志记录乱码样本，用于模型训练或规则优化
• 定期更新Tesseract语言数据包至最新版本
• 避免依赖PyPDF2处理含中文的复杂文档
• 测试环境中模拟多种中文字体生成PDF进行验证