mysql千万级load data 效率如何提升？

数据库：mysql
操作系统：linux
cpu：4
内存：32G

如表：tababc, 10个col，按时间月分区。表已有数据过亿。表本身做了压缩处理。
现 load data 数据，单文件5000W条记录，load 到表中后，时间大概90min分钟。

测试过将文件切割500W每份，整体效率提升并不明显。

有没有什么好的方法能提高load data 入库的方法。

(mysql 采用的是innodb引擎，buffer给了20G左右。)

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
ninitaai 2015-01-09 03:16
关注
关闭binlog
改日志提交模式0

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

mysql使用LOAD DATA LOCAL INFILE 导入csv文本Affected rows: 0 mysql 数据库
2022-01-23 13:34

回答 1 已采纳为啥不直接用这个。
mysql 查询 in包含的数组太多怎么提升效率？ mysql
2018-08-16 03:36

回答 9 已采纳创建一个临时表，表内的数据为in里面的数据，并将该列设置为PK，然后用左连接就OK了~~ 比如 CREATE TABLE name1 (col1 int not null primary
MySql 千万级数据量查询很慢 java mysql
2019-07-09 10:15

回答 6 已采纳按月分表完美解决问题
使用Load Data命令对MySQL千万级数据量快速迁移
2023-02-24 13:56

徐州蔡徐坤的博客 load data使用前需查看secure_file_priv该变量的设置，secure_file_priv的路径就是导出数据的路径，如果没有可以在windows的my.ini）或者linux的my.cnf中添加secure_file_priv的值指定具体路径。
请问MySQL数据库拒绝访问是什么情况？ mysql 数据库
2022-04-10 09:25

回答 3 已采纳根据描述很可能是用户授权问题，看一下localhost对应的账号和密码，如果都正确，就要查看是否有localhost访问权限了，一般默认是有的，如果有人改了授权，指定了某个ip能访问，那就无法访问了，
为什么datagrip查询不到linux中mysql创建的表？ centos linux mysql
2022-05-10 21:51

回答 1 已采纳多刷新几次之后又出来了
python大数据计算，mysql怎么处理高效？ python 数据库有问必答
2022-08-15 11:23

回答 2 已采纳考虑是不是可以用定时任务去处理。合并的话，把第二张表的主键字段(值)去掉，再执行脚本就行。
tp5大数据批量导入mysql_TP5框架下MySQL通过LOAD DATA INFILE批量导入数据详细操作
2021-02-05 09:51

weixin_39527911的博客 LOAD DATA INFILE 语句用法参考手册本文语句参数使用默认值PHP: TP框架环境// 定义文件路径$file_path = 'LOAD_DATA_LOCAL_INFILE.txt';set_time_limit(1000);$fhandler = fopen($file_path,'w');if($fhandler ==...
mysql数据同步到大数据后通过查询大数据实现报表的实时展示 big data java mysql 有问必答
2021-09-18 10:38

回答 4 已采纳你好像描述的有些问题吧？为什么查询大数据展示？你口中的大数据指定到底是什么？如果你是学习大数据（hadoop相关），使用java语言在做数仓项目，那么你可以参考一下这张图查询数据一般从数据库里面查
在sql中多大的数据才算是大数据？ java mysql 数据库
2022-03-31 17:24

回答 5 已采纳其实没有实际的标准明确定义多少数据量算大数据，不过阿里开发手册中建议，表数据超过500万条时，建议考虑分表，以防影响查询效率，不过我们公司也有单表超过几千万条的数据，效率确实不高，所以理论上百万级别以
mysql数据库怎么实现自动填补id？ java mysql spring
2020-01-22 16:27

回答 1 已采纳不可能的，你都已经设置id自增了，它自增的规则是最后一条记录的id+1，不能改变，如果想要填补，那就不要把`kid`设置成自增，自己设置id的规则。
Mysql高频面试题（后端大数据面试必备）
2022-06-05 12:38

南潇如梦的博客个人在面试中被问到以及收集网上的高频Mysql面试题，希望可以帮助到备战求职的同学。
mysql concat一直报错，什么原因？ mysql sql
2020-05-26 11:11

回答 1 已采纳 CAST函数语法规则是：Cast(字段名 as 转换的类型 )，其中类型可以为： CHAR[(N)] 字符型 DATE 日期型 DATETIME 日期和时间型 DECIMAL float
大数据学习指南从入门到精通
2022-05-21 15:57

Lansonli的博客利用框架的力量，看懂游戏规则，才是入行的前提大多数人不懂，不会，不做，才是你的机会，你得行动，不能畏首畏尾选择才是拉差距关键，风向，比你流的汗水重要一万倍，逆风划船要累死人的为什么选择学习大数据开发，...
MySql 做主主双活，千万级数据导入
2024-02-02 16:34

2906的博客（PS：最好是先把表的索引和外键先去除，不然会耗费时间） mysql> load data infile '/var/lib/mysql-files/testdata.txt' into table tbab fields terminated by ','; 4.有可能出现的问题解决一般会出现： The ...
没有解决我的问题, 去提问

悬赏问题

¥15 shape_predictor_68_face_landmarks.dat
¥15 slam rangenet++配置
¥15 有没有研究水声通信方面的帮我改俩matlab代码
¥15 对于相关问题的求解与代码
¥15 ubuntu子系统密码忘记
¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
¥15 保护模式-系统加载-段寄存器
¥15 电脑桌面设定一个区域禁止鼠标操作
¥15 求NPF226060磁芯的详细资料
¥15 使用R语言marginaleffects包进行边际效应图绘制