腾讯云Mysql数据库用Python批量上传数据或同步数据的的方式

Question

目前情况：

目前我使用的是“腾讯云MYSQL云数据库”，我想每天早上把自己本地MySQL数据库服务器的数据，一次性上传或大批量导入10万条以上数据。

遇到的问题：

遇到的问题无法与一次性上传或大批量导入数据了。

需要解决的问题：

从本地数据库的数据 一次性上传 或者 大批量上传到 “腾讯云MYSQL云数据库”
注：（这数据下载txt文档的电脑 和 上传数据的电脑是一条网线互联的两台内外网电脑）

Answer 1

V3城 晚上好🌙🌙🌙
本答案参考通义千问

为了解决将本地MySQL数据库的数据一次性或者大批量地上传到腾讯云MySQL云数据库的问题，您可以采用以下步骤和工具：

方案一：利用Python的pymysql库结合multiprocessing进行批量插入

1. 安装依赖库：

   • 安装pymysql用于连接本地和云端MySQL数据库: pip install pymysql
   • 如果需要处理大量数据，可以考虑安装sqlalchemy作为ORM工具以简化操作: pip install SQLAlchemy

2. 编写Python脚本：

   import pymysql
   from sqlalchemy import create_engine, MetaData, Table, insert
   import multiprocessing
   
   # 本地MySQL配置
   local_mysql_config = {
       'host': 'localhost',
       'user': 'your_username',
       'password': 'your_password',
       'db': 'your_local_db'
   }
   
   # 腾讯云MySQL配置
   tencentcloud_mysql_config = {
       'host': 'your_tencentcloud_instance_endpoint',
       'port': your_tencentcloud_instance_port,
       'user': 'your_tencentcloud_username',
       'password': 'your_tencentcloud_password',
       'db': 'your_tencentcloud_db'
   }
   
   def upload_data_to_tencentcloud(connection):
       table_name = 'your_table_name'  # 替换为实际表名
       data = get_data_from_local_db()  # 自定义获取本地10万条以上数据的方法
       ins = insert(table_name).values(data)
       with connection.cursor() as cursor:
           cursor.execute(ins)
   
   def get_data_from_local_db():
       conn = pymysql.connect(**local_mysql_config)
       try:
           data = execute_query(conn, "SELECT * FROM your_table")  # 替换为查询语句
           return [dict(row) for row in data]
       finally:
           conn.close()
   
   def execute_query(conn, query):
       cursor = conn.cursor()
       cursor.execute(query)
       return cursor.fetchall()
   
   def main():
       pool = multiprocessing.Pool(processes=multiprocessing.cpu_count())
       engine = create_engine(f'mysql+pymysql://{tencentcloud_mysql_config["user"]}:{tencentcloud_mysql_config["password"]}@{tencentcloud_mysql_config["host"]}:{tencentcloud_mysql_config["port"]}/{tencentcloud_mysql_config["db"]}')
       meta = MetaData()
       table = Table(table_name, meta, autoload_with=engine)
       pool.map(upload_data_to_tencentcloud, [engine.connect() for _ in range(multiprocessing.cpu_count())])
   
   if __name__ == '__main__':
       main()
   

此脚本通过多进程并发方式将本地数据批量插入到腾讯云MySQL中。

注意事项：

• 在get_data_from_local_db函数中替换为您的实际SQL查询语句，如SELECT * FROM your_table WHERE some_condition。
• 请确保本地MySQL的用户对目标表有适当的写入权限，并且两端数据库引擎、字符集等设置一致，否则可能出现导入错误。

方案二：使用腾讯云提供的DTS服务（Data Transmission Service）

如果您希望轻松实现两地MySQL数据库之间的数据迁移，建议使用腾讯云数据库的DTS服务，它支持实时增量数据同步以及全量数据迁移。只需在腾讯云控制台开通DTS服务，并按照如下步骤配置：

1. 创建源数据库实例：在本地搭建一个MySQL数据库实例。

2. 创建目标数据库实例：在腾讯云上创建一个Mysql云数据库实例。

3. 配置DTS任务：

   • 登录腾讯云控制台 -> 数据库产品 -> DTS -> 创建新任务
   • 选择"MySQL to MySQL"同步模式，然后填写源端和目标端的相关信息（包括数据库地址、用户名、密码、数据库名及对应表名）
   • 设置同步策略，例如全量迁移后按时间点做增量同步

4. 启动DTS任务：完成配置后，点击启动任务，即可开始同步数据。

5. 定时任务设置：若想每日早晨执行全量同步，可以在DTS控制台配置定期调度任务，设置时间为每天早上适合的时间点。

这样，您无需自行编写复杂的脚本，就可以通过腾讯云官方提供的服务自动完成数据迁移工作。