php操作mysql InnoDB表，导出并删除日志表里数据，由于数据量过大

有这么一个需求，现在有一个表是系统日志表，由于表数据量太大，现在每天执行一次
定时任务，把表里的数据先导出到本地，然后清空，表里的数据。
在清空表里数据的时候，由于数据量太大，需要点时间，这时有新的日志写入的时候
把新数据写入到另一张同结构的表里，等原日志表删除完以后，就可以往进写日志了，再把副表里写入的数据，导入到主表中。
求大神指点思路，能详细点，非常感谢！

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

2条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
兜oo兜 2017-09-01 07:52
关注
定时导出，清空表数据的时候可以根据时间点做过滤进行操作，这样的话不会涉及到新纪录，也不用额外建一张副表做操作了，也省的维护

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

数据未通过PHP从MySQL完全导出到CSV mysql php
2018-07-26 04:09

回答 1 已采纳 You have done small mistake in export.php file: // iteratively exports row by row if (count($c
MySQL将表引擎修改为mrg_myisam后表数据丢失 mysql 数据库有问必答
2022-03-17 22:27

回答 2 已采纳我做了个测试，单纯的修改存储引擎后不会丢失数据 CREATE TABLE `test_20220318` ( `aid` varchar(10) DEFAULT NULL ) ENGINE=Inn
mysql 数据表引擎类型始终是innodb 不能修改成为myisam mysql
2017-07-21 09:18

回答 3 已采纳腾讯云的锅最新版本腾讯mysql云数据库不支持myisam 但是可气的是腾讯云不会提示直接把myisam改为innodb
MySQL删除大量数据
2024-10-16 10:01

翱翔-蓝天的博客分批删除和分段删除是删除大量数据时的关键技巧，可以防止...使用事务可以保证数据删除的原子性，而关闭外键约束和定期优化表则可以提升删除和后续操作的效率。对于复杂的删除任务，可以考虑使用工具如进行安全删除。
scrapy存到mysql查询无数据 mysql python 数据挖掘测试用例
2020-03-04 16:49

回答 1 已采纳在pipelines文件的内部，打印item，看看数据到底有没有获取到连接数据库成功后，打印一个数据库内部的数据，看看是不是连接成功大概率你没搞到数据，所以什么也没有写入
无法在php中将json数据插入mysql数据库 json mysql php
2019-03-31 08:35

回答 1 已采纳 Seems you have not a proper primary key. Try create in the demo_table a proper primary key bas
PHP网站内从MySQL到JSON到AJAX的数据如何？ ajax json mysql php
2019-03-28 21:17

回答 2 已采纳 I think your problem is that you don't know how to get data from MySQL to JSON in PHP, then get th
mysql5.7物理快速复制大数据表
2023-12-03 13:45

lookan的博客在mysql5.7下复制大表一般用mysql,mysqldump命令导出后再导入，如果表比较大，这个时间就比较长了。我们使用物理的方式迅速复制大表。mysql5.7一般用innodb表引擎。对于物理结构有frm和ibd表，前者是表结构，后者是...
InnoDB一棵B+树可以存放多少行数据？开发语言数据结构
2021-09-28 12:13

回答 1 已采纳 https://www.cnblogs.com/leefreeman/p/8315844.html 下面几张图可以帮你理解最小存储单元：文件系统中一个文件大小只有1个字节，但不得不占磁盘上4KB的空
PHP，MySQL - 加载大约100k记录并将它们导出到xml mysql php xml
2016-03-31 05:48

回答 1 已采纳 I found solution, problem was that I load many data. I made 3 upgrades: use function to log mem
mysql :为什么用truncate table 清空表后，内容却还在？ mysql
2022-05-06 21:13

回答 2 已采纳清空表数据,保留表结构,如果要删除表的话参考DROP TABLE 表名; TRUNCATE TABLE 表名不是删除表用的,DESC 是查看表结构,我们要用查询才可以看出数据是否被删除
mysql在一个表内写入数据_你插入MySQL的数据真的存到表里了么？
2021-01-21 16:08

zetachow晓代码mkq的博客你插入MySQL的数据真的存到表里了么？现在有这么一个问题：当你执行一条insert语句之后，插入的数据就已经保存在磁盘中了么？答案是不一定，那是为什么呢？首先来了解一下MySQL在InnoDB存储引擎中，数据是怎么存储...
关于MySQL的数据插入（高级用法） java mysql 数据库
2022-07-26 08:57

回答 2 已采纳 ALTER TABLE t_score ADD mark varchar(10); update t_score set mark='ok' where score>=60; update t_
mysql大数据量迁移方案
2020-11-17 12:08

陀螺TOP的博客数据量不大可以用navicat，mysqldump进行同步，navicat可视化操作方便。但当数据量达到一定级别3000w，1亿以上，实际使用中发现整个导入过程变得漫长在测试中navacat同步1亿4000w数据在整个同步过程中，mysql ...
mysql 归档_MySQL大表数据归档的几种方法介绍
2021-01-18 18:40

奥利奥奥的博客使用MySQL的过程，经常会遇到一个问题，比如说某张”log”表，用于保存某种记录，随着时间的不断的累积数据，但是只有最新的一段时间的数据是有用的；这个时候会遇到性能和容量的瓶颈，需要将表中的历史数据进行归档...
没有解决我的问题, 去提问

悬赏问题

¥15 如何让企业微信机器人实现消息汇总整合
¥50 关于#ui#的问题：做yolov8的ui界面出现的问题
¥15 如何用Python爬取各高校教师公开的教育和工作经历
¥15 TLE9879QXA40 电机驱动
¥20 对于工程问题的非线性数学模型进行线性化
¥15 Mirare PLUS 进行密钥认证？（详解）
¥15 物体双站RCS和其组成阵列后的双站RCS关系验证
¥20 想用ollama做一个自己的AI数据库
¥15 关于qualoth编辑及缝合服装领子的问题解决方案探寻
¥15 请问怎么才能复现这样的图呀

php操作mysql InnoDB表，导出并删除日志表里数据，由于数据量过大

2条回答 默认 最新

悬赏问题

2条回答默认最新