达梦数据库中SUBSTR函数截断中文乱码？

Question

在使用达梦数据库时，调用SUBSTR函数截取含中文字符的字符串可能出现乱码或字符截断不完整的问题。这是由于达梦数据库默认按字节进行字符串截取，而中文字符通常占用多个字节（如UTF-8下占3-4字节，GB18030下占2或4字节），当SUBSTR截取位置落在中文字符的字节中间时，会导致字符编码被拆分，从而产生乱码。例如，SUBSTR('达梦数据库', 1, 3) 可能只截取“达”字的部分字节，引发显示异常。该问题常见于应用迁移或接口数据处理场景中，影响数据显示与交互。需结合字符集设置，使用基于字符的截取方式或调整函数参数以避免跨字符截断。

Answer 1

1. 问题背景与现象描述

在使用达梦数据库（DMDB）进行字符串处理时，开发人员常会遇到调用 SUBSTR 函数截取含中文字符的字符串出现乱码或字符截断不完整的问题。例如执行以下SQL：

SELECT SUBSTR('达梦数据库', 1, 3) FROM DUAL;

期望返回“达”，但实际可能返回一个无法识别的乱码字符。这是由于达梦数据库默认以字节为单位进行字符串截取，而中文字符在UTF-8编码中通常占用3~4个字节，在GB18030下则为2或4字节。当截取长度恰好落在某个中文字符的中间字节时，就会导致该字符的编码被拆分，破坏其完整性，从而引发解码错误。

2. 根本原因分析

• 字符集配置影响：达梦数据库支持多种字符集（如UTF-8、GB18030、EUC-CN等），不同字符集中汉字所占字节数不同。
• SUBSTR函数语义限制：原生SUBSTR(str, pos, len)中的len参数表示的是字节数而非字符数。
• 跨字节截断风险：若起始位置或长度未对齐到字符边界，易造成多字节字符被截断。
• 迁移兼容性问题：从Oracle或其他按“字符”截取的数据库迁移至达梦时，原有逻辑未做适配，极易暴露此缺陷。

3. 典型场景示例

原始字符串	字符集	SUBSTR表达式	预期结果	实际输出	问题类型
达梦数据库	UTF-8	SUBSTR(...,1,3)	达		乱码
中国科技公司	GB18030	SUBSTR(...,1,5)	中国科	中国	截断不全
人工智能AI	UTF-8	SUBSTR(...,4,2)	智		部分字节丢失

4. 解决方案路径对比

1. 使用基于字符的替代函数：达梦提供SUBSTRB（按字节）和SUBSTRC（按字符）两个版本，推荐优先使用SUBSTRC。
2. 结合LENGTHC函数校验长度：通过LENGTHC获取字符长度，避免越界截断。
3. 应用层预处理：在Java、Python等语言中先完成字符串截取再传入SQL，规避数据库层面的编码问题。
4. 设置NLS参数控制行为：调整会话级NLS_LENGTH_SEMANTICS为CHAR，使SUBSTR默认按字符操作（需确认版本支持）。
5. 正则表达式辅助判断：利用REGEXP_SUBSTR按字符模式提取子串，增强健壮性。

5. 推荐实践代码示例

-- 使用 SUBSTRC 按字符截取（推荐）
SELECT SUBSTRC('达梦数据库', 1, 3) AS result FROM DUAL;
-- 输出：达梦数

-- 避免混合中英文时出错
SELECT SUBSTRC('Hello达梦', 6, 2) AS result FROM DUAL;
-- 输出：达梦

-- 动态安全截取函数封装（存储过程片段）
CREATE OR REPLACE FUNCTION SAFE_SUBSTRC(
    input_str VARCHAR2,
    start_pos INT,
    char_len INT
) RETURN VARCHAR2 AS
    actual_len INT;
BEGIN
    actual_len := LENGTHC(input_str);
    IF start_pos > actual_len THEN
        RETURN '';
    END IF;
    RETURN SUBSTRC(input_str, start_pos, LEAST(char_len, actual_len - start_pos + 1));
END;
/

6. 架构设计建议与流程图

在高并发接口服务中，建议将敏感字符串处理下沉至统一的数据访问层，避免直接暴露原始SUBSTR调用。以下是数据清洗模块的设计流程：

graph TD
    A[客户端请求含中文字段] --> B{是否需要截取?}
    B -- 是 --> C[调用SAFE_SUBSTRC函数]
    B -- 否 --> D[直接返回]
    C --> E[检查字符集一致性]
    E --> F[执行SUBSTRC截取]
    F --> G[验证输出合法性]
    G --> H[返回结果]
    H --> I[日志记录异常情况]

7. 迁移项目中的应对策略

当从Oracle迁移到达梦数据库时，应注意以下几点：

• 扫描所有SQL脚本中使用的SUBSTR函数，并替换为SUBSTRC。
• 检查视图、函数、触发器中是否存在隐式依赖字节长度的逻辑。
• 启用达梦的兼容模式：SET COMPATIBLE_MODE = 1; 可提升对Oracle语义的兼容性。
• 建立自动化测试用例库，覆盖典型中文字符串截取场景。
• 使用数据库审计功能监控异常字符串操作行为。