关于mysql分库情况下如何批量插入

业务上因为数据量太大（亿级），我们把mysql数据进行分库操作，但是再插入的时候发现没法批量插入，又遇到过类问题，或者知道解决办法的人吗

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
ben866454826 2020-11-10 14:53
关注
批量写入失败，报啥错要告知呀，这里我只能猜是你没有设置max_allowed_packet太小了，批量的数据太多了，可以在数据库my.ini文件设置max_allowed_packet = 100M（根据你实际数值设置）

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

java多线程批量插入数据报错 java mysql spring boot
2022-04-24 18:32

回答 11 已采纳如果你是springboot项目，像你说的那个批量处理数据什么的，你就用他自带的多线程方法ThreadPoolTaskExecutor，去处理，最后.join的方式加入到主线程，你只需要处理数据网数据
python 批量插入mysql 如何把list分隔开来 mysql python
2019-04-10 20:37

回答 2 已采纳第26行，`listxixi.append(aa+bb+cc+dd)`，改成`listxixi.append([aa, bb, cc, dd])`。你的sql写的也有点问题，前面五个字段，后面四个占位
mysql大量数据批量插入的问题 mysql
2021-07-14 19:56

回答 2 已采纳兼顾时效性和内存使用，一般1万-100万是合适的。数据太大了，还是load吧。
MySQL存储过程批量插入数据
2023-01-10 08:30

恨不相逢未涨时的博客 MySQL批量插入数据
关于MySQL 插入自增，HTML表单 html java mysql
2021-10-26 18:48

回答 2 已采纳就数据库设置自增，然后直接插入就行了啊，插入的时候id设置为null
关于MySQL的数据插入（高级用法） java mysql 数据库
2022-07-26 08:57

回答 2 已采纳 ALTER TABLE t_score ADD mark varchar(10); update t_score set mark='ok' where score>=60; update t_
关于java 使用druid连接mysql问题报错 java mysql 后端
2021-09-05 20:41

回答 1 已采纳连接池配置文件中添加spring.datasource.driver-class-name=com.mysql.jdbc.Driver
java mybatis分批次批量插入
2020-06-18 18:25

qiweilong123456的博客分批次批量插入 假设我们的List<Person>集合一共有1200条数据。分批次，一次500条。 Person类只有三个字段：id,name,age。 1.在service层写java代码，进行分批具体步骤写在了下面的代码里，注释也有。 //...
关于#java#的问题：批量删除失败 java mysql
2022-06-08 10:29

回答 1 已采纳看看你的ids是不是正确的id类型，这个是类型不匹配的问题
egg-mysql怎么批量操作数据 mysql node.js 数据库
2022-03-02 16:48

回答 1 已采纳一般这种工具都会提供自定义sql执行的,比如 const results = yield app.mysql.query('update posts set status = 1 where id i
在大多数企业中mysql怎样实现分库的？ java mysql
2023-02-28 22:23

回答 3 已采纳 MySQL的分库分表一般使用分片技术来实现读写分离和水平扩展。具体来说，可以通过以下步骤实现MySQL的分片：确定分片键：在分片时，需要根据业务场景选择合适的分片键。一般来说，选择经常用于查询和过滤
【MySQL深入】分库分表原理
2021-02-14 18:01

白夜行515的博客原来的MySQL架构（一主多从）已不适应这么大的数据量，所以急需技术升级。数据量预计：现在单表的数据量在1400万行左右，按照现在的业务，每天5.6万的增量，一年增加2050万左右，加上业务的增长，预计在3年后达到亿...
mysql批量插入数据怎么生成uuid？ mysql sql
2021-12-22 20:55

回答 1 已采纳先uuid查出来,然后再在外面套一层replace是可以的,见下图的测试
mysql新增,更新,批量插入操作
2021-06-22 01:39

略懂前端的后端的博客 mysql新增和更新操作一、Insert的几种语法例子: CREATE TABLE `users` ( `id` int(11) NOT NULL AUTO_INCREMENT, `username` varchar(30) DEFAULT NULL, `money` double DEFAULT NULL, PRIMARY KEY (`id`), ...
【进阶篇】MySQL分库分表详解
2023-09-02 23:47

冰点.的博客假设有一个电商网站，随着用户量和订单量的增加，单一数据库难以承载如此庞大的数据量，查询速度也逐渐降低，这时就需要进行分库分表。
没有解决我的问题, 去提问

悬赏问题

¥15 我想咨询一下路面纹理三维点云数据处理的一些问题，上传的坐标文件里是怎么对无序点进行编号的，以及xy坐标在处理的时候是进行整体模型分片处理的吗
¥15 CSAPPattacklab
¥15 一直显示正在等待HID—ISP
¥15 Python turtle 画图
¥15 关于大棚监测的pcb板设计
¥15 stm32开发clion时遇到的编译问题
¥15 lna设计源简并电感型共源放大器
¥15 如何用Labview在myRIO上做LCD显示？(语言-开发语言)
¥15 Vue3地图和异步函数使用
¥15 C++ yoloV5改写遇到的问题

关于mysql分库情况下如何批量插入

1条回答 默认 最新

悬赏问题

1条回答默认最新