pdfplumber提取文本时为何出现乱码或缺失字体？

Question

pdfplumber 提取文本时出现乱码或缺失字体，根本原因在于 PDF 本质是“图形描述格式”而非纯文本容器。当 PDF 使用非标准编码（如自定义 CID 编码）、嵌入了未映射的字体子集、或采用 Type 3 字体/路径描边文字（即“假文字”，实为矢量轮廓）时，pdfplumber 依赖的底层库（如 pdfminer.six）无法正确解析字符语义，导致解码失败——表现为方块、空格、乱码或整段丢失。此外，中文等双字节语言若 PDF 缺少 ToUnicode CMap 映射，或使用了加密/受保护字体（如某些商业报告生成器输出），也会触发字符映射失效。值得注意的是：pdfplumber 本身不渲染字体，仅解析文本操作符与坐标；它无法修复损坏的字体映射，也不支持 OCR。因此，乱码不是 bug，而是 PDF 结构缺陷在文本提取链路中的必然暴露。诊断应优先用 `page.chars` 检查原始字符对象的 `fontname` 和 `unicode` 字段，再结合 `pdfminer.six` 的 `dump` 工具分析底层文本操作流。

Answer 1

```html

一、现象层：乱码与缺失字体的典型表现

• 中文段落显示为连续方块（）或空格占位
• 数字/英文正常，但中日韩字符全部丢失（len(page.extract_text()) == 0 却存在可见文字）
• 使用 page.chars 查看时，char['unicode'] 为空或为 \x00，char['fontname'] 显示 ABCDEF+SimSun-GB18030 等非标准命名
• 同一PDF中部分页面可提取，部分页面完全空白——暗示字体嵌入策略不一致

二、机制层：pdfplumber 的文本解析链路与本质约束

pdfplumber 并非“读取文本”，而是：

1. 调用 pdfminer.six 解析 PDF 内容流（Content Stream）
2. 识别 Tj / TJ 文本绘制操作符及其参数（字符串或字节序列）
3. 依据当前 Font 对象的 encoding + ToUnicode CMap 查表映射 Unicode
4. 若缺失 ToUnicode（尤其 CIDFont）、编码为自定义 Identity-H 且无 CMap、或字体为 Type 3（纯路径描边），则映射失败 → 返回 None 或原始字节

⚠️ 关键认知：pdfplumber 不渲染、不猜测、不 OCR —— 它忠实地暴露 PDF 结构缺陷。

三、根源层：PDF 规范与字体实现的“灰色地带”

问题类型	技术成因	常见来源
CID 字体无 ToUnicode CMap	Pdfminer 遇 /CIDSystemInfo /Registry (Adobe) 但无 /ToUnicode 流	LaTeX + xeCJK 导出、旧版 Adobe Distiller
Type 3 字体（路径文字）	文字被转为 re + f 路径填充，无文本操作符	Matplotlib 保存为 PDF、某些 BI 工具导出
子集化字体 + 损坏 CMap	仅嵌入用到的字形，但 CMap 映射表未同步裁剪或指向无效偏移	商业报表引擎（如 Crystal Reports、Power BI PDF 导出）

四、诊断层：从表象到字节流的纵深分析法

执行以下分步诊断（需安装 pdfminer.six）：

# 步骤1：检查原始字符语义
for char in page.chars[:20]:
    print(f"font: {char['fontname']:<25} | unicode: {repr(char['unicode']):<12} | text: {char['text']}")

# 步骤2：导出底层内容流分析（定位 Tj/TJ 操作）
from pdfminer.high_level import extract_pages
from pdfminer.layout import LTTextContainer
# 或直接运行：pdfminer.six/dump.py -t xml input.pdf > dump.xml

五、解决层：分场景的工程化应对策略

graph LR A[PDF文本提取失败] --> B{诊断结果} B -->|ToUnicode缺失| C[注入自定义CMap映射表
via pdfminer.six's fontmap] B -->|Type 3路径文字| D[切换OCR方案：
pytesseract + pdf2image] B -->|加密/权限限制| E[预处理：qpdf --decrypt input.pdf output.pdf] B -->|字体子集损坏| F[重生成PDF：
pdftocairo -pdf input.pdf fixed.pdf]

六、进阶层：构建鲁棒文本提取管道的工业实践

• 引入 pdfplumber.open(..., laparams={...}) 调优字符间距容忍度，缓解因坐标错位导致的逻辑分段错误
• 对高价值PDF批量处理前，先运行 pdfinfo -meta input.pdf 检查是否含 Encrypted: yes 或 Tagged PDF: no
• 建立字体指纹库：统计 page.chars 中 fontname 出现频次与 unicode is None 比率，自动标记“高风险页”
• 混合提取策略：对 page.chars 提取率 < 30% 的页面，自动 fallback 到 OCR pipeline

```