如何处理PDF.js提取文字时的乱码问题？

Question

在使用 PDF.js 提取中文或特殊字符文本时，常出现乱码问题，主要原因是字体未嵌入或编码映射缺失。PDF.js 依赖内置 CMap（字符映射表）解析非标准编码字体，若未正确加载对应语言的 CMap 文件（如 CJK 支持），提取的文字将无法正确解码。此外，部分 PDF 使用自定义字体子集且未完全嵌入，导致字符映射失败。解决该问题需确保在初始化 PDFJSLib 时正确配置 `CMapReaderFactory`，并引入支持中文、日文等语言的 CMap 资源目录。同时，建议服务端预处理 PDF，嵌入完整字体或转换为 Unicode 编码，以提升文本提取准确率。

Answer 1

1. 问题背景与常见现象

在使用 PDF.js 进行文本提取时，中文、日文等 CJK 字符常出现乱码或显示为方框、问号等问题。这类问题并非 PDF.js 本身缺陷，而是源于 PDF 文件内部字体编码机制与客户端解析能力不匹配。

典型表现为：

• 提取的文本中汉字被替换为符号（如 ）
• 部分字符缺失或顺序错乱
• 英文正常显示但中文无法识别
• 复制粘贴到其他编辑器后内容不可读

2. 核心原因分析

PDF.js 在解析文本内容时，并非直接读取“Unicode 字符”，而是依赖于字体的编码方式和字符映射表（CMap）。当以下任一条件未满足时，就会导致乱码：

1. 字体未嵌入：PDF 使用了系统字体但未完整嵌入子集，造成客户端无法还原字形。
2. CMap 缺失：非标准编码（如 CID, Identity-H）需要外部 CMap 文件支持，若未加载对应语言包，则无法解码。
3. 编码方式为 Identity-H：该编码表示每个字符通过自定义映射表查找，必须配合正确的 CMap 资源。
4. 字体子集化过度：仅包含文档中使用的少数字符，缺少通用映射关系。

3. 技术架构层级解析

层级	组件	作用
1	PDF Document	原始文件结构，含字体对象与 ToUnicode 映射
2	Font Subsystem	处理字体加载、解析 Type0/CIDFont/TrueType
3	CMapReaderFactory	负责加载外部 CMap 文件（如 UniGB-UCS2-H）
4	TextLayerBuilder	构建可选中文本层，依赖正确解码结果
5	User Application	调用 getTextContent() 获取字符串流

4. 解决方案路径图

// 初始化 PDFJSLib 时配置 CMap 路径
pdfjsLib.GlobalWorkerOptions.workerSrc = '/build/pdf.worker.mjs';

const loadingTask = pdfjsLib.getDocument({
  url: 'example.pdf',
  cMapUrl: '/cmaps/',           // 必须指向包含 CJK CMap 的目录
  cMapPacked: true,             // 启用压缩格式 .bcmap
  enableXfa: true                // 支持表单内容提取
});

loadingTask.promise.then(pdf => {
  return pdf.getPage(1);
}).then(page => {
  return page.getTextContent();
}).then(textContent => {
  console.log(textContent.items.map(item => item.str).join(''));
});
  

5. CMap 资源部署要求

PDF.js 需要从服务器加载特定的二进制 CMap 文件（.bcmap），这些文件通常位于：

• /cmaps/UniGB-UCS2-H.bcmap —— 简体中文 Horizontal
• /cmaps/UniGB-UCS2-V.bcmap —— 简体中文 Vertical
• /cmaps/UniJIS-UCS2-H.bcmap —— 日文支持
• /cmaps/KSC-EUC-H.bcmap —— 韩文编码

MIME 类型需设置为 application/octet-stream，避免浏览器解析错误。

6. 服务端预处理优化策略

为从根本上提升文本提取准确率，建议在服务端对上传的 PDF 执行预处理：

1. 使用 Ghostscript 嵌入缺失字体：

2. gs -o output.pdf -dEmbedAllFonts=true -dSubsetFonts=false -sDEVICE=pdfwrite input.pdf

3. 利用 QPDF 清理并标准化对象结构：

4. qpdf --linearize --optimize-images input.pdf output.pdf

5. 通过 Apache Tika + PDFBox 提前生成 ToUnicode 映射表注入 PDF。

7. 流程图：文本提取全链路诊断

graph TD
      A[用户上传PDF] --> B{是否启用CMap?}
      B -- 否 --> C[配置cMapUrl路径]
      B -- 是 --> D[加载页面资源]
      D --> E{字体编码类型?}
      E -->|Standard| F[直接解码]
      E -->|Identity-H/V| G[查找对应CMap文件]
      G --> H{CMap存在且正确?}
      H -- 否 --> I[返回乱码或占位符]
      H -- 是 --> J[执行字符映射]
      J --> K[输出Unicode文本]
      K --> L[应用层展示/搜索/OCR备用]

8. 高级调试技巧

可通过以下方法深入排查具体失败环节：

• 启用 PDF.js 日志：pdfjsLib.verbosity = pdfjsLib.VerbosityLevel.INFO
• 检查网络面板是否成功加载 .bcmap 文件
• 使用 page.fontInfo() 查看字体属性及编码方式
• 分析 PDF 内部结构工具推荐：PDF Annotator 或 pdfinfo -font
• 验证 ToUnicode CMap 是否存在于字体字典中

9. 替代方案与增强架构

对于高精度场景，可结合多引擎互补：

方案	优点	缺点
Pdf.js + CMap	纯前端、免依赖	依赖资源部署
PDFBox (Java)	精准 ToUnicode 支持	需后端服务
Apache Tika	统一接口提取多种格式	性能开销大
OCR 引擎（Tesseract）	应对无文本层PDF	成本高、速度慢