Python PDF转Word时中文乱码如何解决？

Question

在使用Python将PDF转换为Word文档时，常遇到中文乱码问题，主要源于字体编码缺失或文本提取过程中未正确识别Unicode字符。例如，通过`pdfplumber`或`PyMuPDF`提取含中文的PDF文本后，若未指定合适的编码格式（如UTF-8），或目标Word文档未嵌入中文字体，导出的.docx文件易出现方框、问号等乱码现象。此外，部分PDF使用内嵌子集字体或非标准编码映射，进一步加剧了解析难度。如何确保中文字符在转换过程中保持完整性和可读性，成为开发中亟待解决的关键问题。

Answer 1

一、问题背景与现象描述

在使用Python将PDF文档转换为Word（.docx）格式时，中文乱码是一个常见且棘手的问题。尤其是在处理来自不同地区或使用非标准字体嵌入的PDF文件时，开发者常会遇到字符显示为方框（□）、问号（?）或乱码符号的情况。

这一现象的根本原因在于：PDF中文字体可能以子集形式嵌入、未正确映射Unicode编码，或提取过程中忽略了文本的编码声明。此外，在生成.docx文件时，若未显式设置中文字体支持，即使原始文本提取正确，最终输出仍可能出现渲染异常。

二、技术原理剖析

1. PDF文本编码机制：PDF文件中的文本内容通常通过ToUnicode CMap进行字符到Unicode的映射。若该映射缺失或不完整（如仅嵌入字形子集），则解析器无法还原原始中文字符。
2. 文本提取库行为差异：例如pdfplumber基于pdfminer.six，其对CMap的支持依赖底层实现；而PyMuPDF（即fitz）提供更底层的访问能力，但需手动处理编码逻辑。
3. Word文档字体约束：.docx基于OpenXML标准，默认英文字体（如Calibri）不包含中文 glyphs，必须显式指定中文字体（如“宋体”、“微软雅黑”）才能正常显示。

三、典型错误场景分析

场景	成因	表现形式
未启用ToUnicode映射	PDF缺少CMap信息	提取文本为空或乱码
编码未设为UTF-8	str.encode/decode错误	保存时出现符号
Word样式未设中文字体	python-docx默认字体无中文支持	显示为方框□
子集字体未识别	仅嵌入部分字形	个别汉字缺失
OCR型PDF未处理	实际为图像而非文本	完全无法提取

四、解决方案层级递进

1. 基础层：确保文本正确提取

import pdfplumber

with pdfplumber.open("chinese.pdf") as pdf:
    for page in pdf.pages:
        text = page.extract_text()
        if text:
            print(text.encode('utf-8').decode('utf-8'))  # 显式使用UTF-8
    

2. 中间层：增强PDF解析能力

使用PyMuPDF获取更精确的文本结构，并启用Unicode支持：

import fitz  # PyMuPDF

doc = fitz.open("chinese.pdf")
full_text = ""
for page in doc:
    blocks = page.get_text("dict")["blocks"]
    for b in blocks:
        if "lines" in b:
            for span in [s for ln in b["lines"] for s in ln["spans"]]:
                full_text += span["text"]
full_text = full_text.strip()
    

3. 输出层：控制Word文档字体与编码

利用python-docx设置中文字体：

from docx import Document
from docx.shared import Pt
from docx.oxml.ns import qn
from docx.enum.text import WD_PARAGRAPH_ALIGNMENT

doc = Document()
paragraph = doc.add_paragraph()
run = paragraph.add_run(full_text)
run.font.name = 'Microsoft YaHei'
run._element.rPr.rFonts.set(qn('w:eastAsia'), 'Microsoft YaHei')
run.font.size = Pt(12)
doc.save('output.docx')
    

五、高级策略与流程优化

针对复杂PDF结构，建议采用如下处理流程：

graph TD
            A[输入PDF文件] --> B{是否为图像型PDF?}
            B -- 是 --> C[调用OCR引擎（如PaddleOCR/Tesseract）]
            B -- 否 --> D[尝试pdfplumber/PyMuPDF提取文本]
            D --> E{提取结果含中文乱码?}
            E -- 是 --> F[检查ToUnicode CMap是否存在]
            F --> G[使用fontTools分析内嵌字体]
            G --> H[重建字符映射表]
            E -- 否 --> I[清洗并标准化文本编码为UTF-8]
            I --> J[创建.docx文档]
            J --> K[设置东西方字体分离策略]
            K --> L[输出可读性良好的Word文档]

六、工具链推荐与最佳实践

• pdfplumber：适合结构化PDF，便于表格提取，但需注意编码兼容性。
• PyMuPDF (fitz)：性能高，支持精细布局分析，推荐用于复杂排版。
• python-docx：务必设置w:eastAsia字体属性以支持中文渲染。
• fontTools：可用于解析PDF内嵌字体子集，辅助字符恢复。
• PaddleOCR：百度开源OCR工具，对中文识别准确率极高，适用于扫描件。
• Apache Tika：可通过JVM桥接方式提取富文本元数据，补充编码线索。
• Unicode Normalize：使用unicodedata.normalize()统一全角半角字符。
• 日志记录：记录每页提取状态，便于定位乱码源头。
• 测试样本集：构建涵盖简体、繁体、生僻字的PDF测试库。
• 自动化校验：通过正则匹配中文字符范围\\u4e00-\\u9fff验证完整性。