Unicode中一个汉字占几个字符？常见编码下长度如何计算？

Question

在Unicode中，一个汉字占几个字符取决于编码方式。UTF-8下，常见汉字（BMP平面）占3字节，生僻汉字可能占4字节；UTF-16下，多数汉字占2字节，部分占4字节；UTF-32固定为4字节。计算字符串长度时，需明确编码规则：如Java的String.length()返回的是UTF-16编码下的代码单元数，一个汉字通常计为1或2个单位；而Python中len()函数在不同版本表现不同，Python 3中返回码点数量，多数汉字为1。因此，处理多字节字符时，务必了解所用编码及语言特性，避免截断或统计错误。如何正确判断一个汉字在UTF-8和UTF-16下的具体字节数？

Answer 1

1. Unicode编码基础

Unicode是一种国际字符集标准，支持全球几乎所有的书写系统。在Unicode中，一个汉字占几个字符取决于编码方式。以下是几种常见编码方式的特点：

• UTF-8: 可变长度编码，常见汉字（BMP平面）占3字节，生僻汉字可能占4字节。
• UTF-16: 也是可变长度编码，多数汉字占2字节，部分占4字节。
• UTF-32: 固定长度编码，所有字符均占4字节。

例如，“一”在UTF-8下占用3字节，在UTF-16下占用2字节；而“𩸽”（生僻字）在UTF-8下占用4字节，在UTF-16下占用4字节。

2. 编码规则与字符串长度计算

不同编程语言对字符串长度的计算方式有所不同，这直接影响到多字节字符的处理。以下是两种常见语言的行为：

语言	函数	返回值含义
Java	String.length()	返回UTF-16编码下的代码单元数，一个汉字通常计为1或2个单位。
Python	len()	在Python 3中返回码点数量，多数汉字为1。

因此，在实际开发中，必须明确所用编码及语言特性，避免因误解导致的截断或统计错误。

3. 判断汉字具体字节数的方法

要正确判断一个汉字在UTF-8和UTF-16下的具体字节数，可以按照以下步骤进行：

1. 确定目标汉字的Unicode码点范围。
2. 根据码点范围判断其在UTF-8和UTF-16中的编码规则。
3. 编写程序实现自动化判断。

以Python为例，可以通过以下代码实现：

def get_byte_length(char):
    utf8_bytes = char.encode('utf-8')
    utf16_bytes = char.encode('utf-16-le')  # 使用小端序
    return len(utf8_bytes), len(utf16_bytes)

# 测试
char = "一"
utf8_len, utf16_len = get_byte_length(char)
print(f"'{char}' in UTF-8: {utf8_len} bytes, in UTF-16: {utf16_len} bytes")
    

运行上述代码后，将输出该汉字在两种编码下的字节数。

4. 技术分析与解决方案

对于IT从业者来说，理解多字节字符的存储方式至关重要。以下是技术分析的关键点：

在UTF-8中，每个字符的编码规则如下：

• 1字节：0x00 - 0x7F（ASCII范围）。
• 2字节：0x0080 - 0x07FF。
• 3字节：0x0800 - 0xFFFF（BMP平面）。
• 4字节：0x10000及以上（包括生僻汉字）。

而在UTF-16中：

• BMP平面内的字符占用2字节。
• 超出BMP平面的字符使用代理对，占用4字节。

通过以上规则，可以手动或借助程序判断任意汉字的具体字节数。

5. 流程图示例

以下是判断汉字在UTF-8和UTF-16下字节数的流程图：

graph TD; A[输入汉字] --> B{是否在BMP平面？}; B --是--> C[UTF-8: 3字节
UTF-16: 2字节]; B --否--> D[UTF-8: 4字节
UTF-16: 4字节];