PaddleOCR训练时如何添加自定义新字？

Question

在使用PaddleOCR进行训练时，如何添加自定义新字是一个常见问题。当需要识别的字符不在默认字符集内时，必须对字符集进行扩展。首先，需修改配置文件中的字符列表，将新字加入到`ppocr/utils/ppocr_keys.py`或自定义的字符文件中，并确保字符顺序正确且无重复。其次，在数据标注文件中包含这些新字，以生成训练所需的标签数据。最后，重新准备训练数据并调整模型参数，特别是输入层的字符维度大小，使其与新的字符集匹配。若忽略上述步骤，可能导致模型无法正确学习新增字符，影响最终识别效果。如何准确地完成这些操作是用户在定制化场景下需重点解决的技术挑战。

Answer 1

1. 问题概述：PaddleOCR字符集扩展的基本概念

在使用PaddleOCR进行训练时，如果需要识别的字符不在默认字符集内，则必须对字符集进行扩展。这是许多用户在定制化场景下遇到的技术挑战。

• 默认字符集位于`ppocr/utils/ppocr_keys.py`文件中。
• 新增字符需正确添加到该文件或自定义字符文件中。
• 确保字符顺序正确且无重复是关键步骤。

例如，假设我们希望模型能够识别“@”符号，而该符号不在默认字符集中，则需要将“@”添加到字符列表中。

2. 技术实现：字符集扩展的具体操作

以下是完成字符集扩展的关键步骤：

1. 修改字符列表：打开`ppocr/utils/ppocr_keys.py`文件，找到默认字符集，并将新字添加到列表末尾。
2. 更新数据标注文件：确保训练数据中标注包含新增字符。
3. 调整模型参数：重新准备训练数据并调整输入层的字符维度大小。

以下是一个示例代码片段，展示如何修改字符列表：

# 打开 ppocr/utils/ppocr_keys.py 文件
# 修改默认字符集
DEFAULT_CHAR_SET = [
    "0", "1", "2", "3", "4", "5", "6", "7", "8", "9",
    "a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k", "l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v", "w", "x", "y", "z",
    "@",  # 新增字符
]

3. 数据准备与模型调整

为了确保模型能够正确学习新增字符，还需要完成以下步骤：

步骤	描述
1. 更新数据标注	在标注文件（如CSV或TXT）中包含新增字符的标签。
2. 调整模型参数	修改配置文件中的字符维度大小，使其与新的字符集匹配。

例如，如果新增了5个字符，则输入层的字符维度大小应从原本的94增加到99。

4. 流程图：字符集扩展的整体流程

以下是字符集扩展的整体流程图：

graph TD;
    A[开始] --> B[修改字符列表];
    B --> C[更新数据标注文件];
    C --> D[调整模型参数];
    D --> E[重新训练模型];

通过上述流程，可以确保新增字符被正确纳入模型的学习范围。

5. 常见问题与解决方案

在实际操作中，可能会遇到以下问题：

• 问题1：新增字符未被正确识别。
• 解决方案：检查字符列表是否正确添加，并确认标注文件和模型参数已同步更新。
• 问题2：模型训练效果不佳。
• 解决方案：增加包含新增字符的数据量，并调整超参数以优化模型性能。

此外，还需注意字符顺序的正确性，避免因重复字符导致的冲突。