Baostock数据存MySQL时编码乱码如何解决？

Question

在使用Baostock将股票数据导入MySQL时，常出现中文字段（如股票名称）存储后显示乱码的问题。该问题多因数据库或表的字符集未正确设置为`utf8mb4`，或Python脚本中未统一编码格式所致。即使MySQL配置了UTF-8支持，若连接参数未显式指定字符集，仍可能导致客户端与服务端编码不一致。如何确保从Baostock获取的数据在插入MySQL时不出现中文乱码？

Answer 1

一、问题背景与现象分析

在使用Baostock库从A股市场获取股票数据并导入MySQL数据库的过程中，中文字段（如股票名称、行业分类等）存储后出现乱码是常见的痛点。尽管开发者已确认数据库支持UTF-8编码，但在实际查询中仍显示为“???”或类似符号。

该问题的根本原因往往不是单一层面的问题，而是涉及多个技术栈的协同配置缺失，包括但不限于：

• MySQL数据库/表字符集未设置为utf8mb4
• 连接驱动未显式声明字符集参数
• Python脚本内部字符串处理过程中发生隐式编码转换
• Baostock返回数据的原始编码未被正确识别

尤其值得注意的是，即使MySQL服务端默认字符集为utf8mb4，若客户端连接时未通过连接参数指定charset=utf8mb4，则可能回退至latin1或其他不兼容编码，导致中文写入失败。

二、系统性排查路径

解决此类乱码问题需遵循由底层到上层、由数据库到应用层的排查逻辑。以下是推荐的排查顺序：

1. 检查MySQL服务器全局字符集配置
2. 验证目标数据库及表的字符集和排序规则
3. 确认连接池或DB API（如PyMySQL）是否设置了正确的字符集参数
4. 审查Python脚本中对Baostock返回数据的处理流程
5. 测试端到端数据流中的编码一致性

三、MySQL层级配置核查

确保数据库环境本身支持完整的UTF-8扩展至关重要。utf8在MySQL中仅支持3字节UTF-8，无法存储部分中文字符（如生僻字、emoji），应统一使用utf8mb4。

可通过以下SQL语句检查当前配置：

-- 查看全局字符集设置
SHOW VARIABLES LIKE 'character_set%';
SHOW VARIABLES LIKE 'collation%';

-- 查看特定数据库字符集
SELECT DEFAULT_CHARACTER_SET_NAME, DEFAULT_COLLATION_NAME 
FROM information_schema.SCHEMATA 
WHERE SCHEMA_NAME = 'your_database_name';

-- 查看具体表的字符集
SHOW CREATE TABLE stock_basic;
    

若发现字符集非utf8mb4，可执行如下修改：

ALTER DATABASE your_db_name CHARACTER SET = utf8mb4 COLLATE = utf8mb4_unicode_ci;
ALTER TABLE stock_basic CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
    

四、连接层编码显式声明

即使数据库已正确配置，若Python连接MySQL时未显式指定字符集，仍可能导致客户端以错误编码解析数据。使用PyMySQL或mysql-connector-python时，必须在连接参数中加入charset='utf8mb4'。

连接参数	推荐值	说明
host	localhost	数据库主机地址
user	root	用户名
password	******	密码
database	stock_data	目标数据库名
charset	utf8mb4	关键：防止乱码
autocommit	True	自动提交事务
cursorclass	DictCursor	返回字典格式结果

五、Python脚本编码统一策略

Baostock返回的数据通常为UTF-8编码的字符串，但若脚本运行环境默认编码非UTF-8（如Windows下部分环境为GBK），则可能出现中间解码错误。建议在脚本开头统一声明编码，并避免不必要的encode/decode操作。

# -*- coding: utf-8 -*-
import baostock as bs
import pymysql

# 建立数据库连接（关键：显式指定charset）
db_conn = pymysql.connect(
    host='localhost',
    user='root',
    password='your_password',
    database='stock_data',
    charset='utf8mb4',  # 必须设置
    autocommit=True
)

# 初始化Baostock
lg = bs.login()
if lg.error_code != '0':
    print("Login failed:", lg.error_msg)
    exit()

# 获取股票信息
rs = bs.query_stock_basic()
data_list = []
while (rs.error_code == '0') & rs.next():
    data_list.append(rs.get_row_data())

# 插入数据（确保字段类型为TEXT/VARCHAR且支持utf8mb4）
with db_conn.cursor() as cursor:
    sql = "INSERT INTO stock_basic (code, name, industry) VALUES (%s, %s, %s)"
    for row in data_list:
        cursor.execute(sql, (row[0], row[1], row[2]))  # 中文名称直接插入

bs.logout()
    

六、端到端验证与监控机制

为确保长期稳定性，建议建立自动化校验流程。以下为一个基于Mermaid的流程图，展示从数据抽取到入库的完整链路及其编码控制点：

graph TD
    A[Baostock API] -- UTF-8 encoded string --> B(Python Script)
    B -- decode? no --> C{Ensure sys.stdout.encoding is UTF-8}
    C --> D[Database Connection]
    D -- charset=utf8mb4 --> E[MySQL Server]
    E -- Table CHARSET=utf8mb4 --> F[Data Stored Correctly]
    F --> G[Query via SQL Client]
    G -- SELECT name FROM stock_basic --> H{Display Chinese Properly?}
    H -- Yes --> I[Success]
    H -- No --> J[Trace Back Encoding Path]
    J --> K[Check Connection Charset]
    K --> L[Verify Table Definition]
    L --> M[Test with Minimal Example]

此外，可在每日数据同步任务后添加校验脚本，随机抽样检查中文字段完整性，例如：

def verify_chinese_integrity():
    with db_conn.cursor() as cur:
        cur.execute("SELECT name FROM stock_basic LIMIT 5")
        for row in cur.fetchall():
            name = row[0]
            if not all(ord(c) < 128 for c in name):  # 包含非ASCII字符
                print(f"Detected Chinese: {name}")  # 应正常输出