if时光重来 2021-09-28 12:04 采纳率: 50%
浏览 56
已结题

如何快速导出、导入超过百万条数据，数据量大小2G左右

数据库中有几个表的数据超过500万条，数据大小超2G
使用navicate的数据传输，但速度比较慢，而且还数据不全，有没有好点的快速导出、导入方法

  • 写回答

3条回答 默认 最新

  • 老紫竹 2021-09-28 12:50
    关注

    mysql 自带select into outfile导出功能
    基本都有自带的导出

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题？

  • 使用生成器yield导出百万数据
    2018-11-08 18:27
    海-LLH的博客 10W【10列】 数据导出 数据大小20M 左右，时间花费5分钟 50W【10列】 数据导出 数据大小96M 左右,花费12分钟 100W【10列】 数据导出 数据大小192M 左右,花费23分钟 注意的坑 excel坑 既然是导出数据，大伙们当然...
  • 优化大量数据导出到Excel的内存消耗
    2024-02-02 13:53
    NAMELZX的博客 导出数据，数据量太大，一直处于加载中，然后刷新页面，也刷新不出来。1、在反序列化 Redis 数据时发生了问题，导致 Java 虚拟机耗费过多时间在垃圾回收上，最终触发了 java.lang.OutOfMemoryError: GC overhead ...
  • java 百万千万级别excel数据导出问题（解决导出慢和OutOfMemoryError内存溢出的问题）
    2021-03-19 21:20
    huihttp的博客 由于很多业务需要导出数据库里的数据，一般我们导出的数据都是要给业务部门看的，他们也会拿到做一些数据统计，所以一般都是给他们导出Excel格式的数据文件，但是当我导出五十万条数据时遇到了两个问题： ...
  • EasyExcel实战教程：批量导入导出Excel数据的最佳实践
    2025-09-08 18:54
    薄正胡Plains的博客 本文将从实际业务场景出发，全面解析阿里巴巴开源项目EasyExcel在批量数据导入导出中的最佳实践，帮助你彻底解决Excel处理难题。 读完本文你将获得： - 掌握EasyExcel核心API的高效使用方法 - 学会处理百万级数据的...
  • 大数据常见面试问题汇总
    2023-07-12 12:50
    Bigdata_shit的博客 每天丢几百万数据 pb级 亿万富翁，掉1块钱会捡？ 3）HDFS Sink （1）时间（半个小时） or 大小128m 且 设置Event个数等于0，该值默认10 具体参数：hdfs.rollInterval=1800，hdfs.rollSize=134217728 且 hdfs....
  • 数据分析大数据面试题大杂烩01
    2021-03-09 16:29
    爱学习的菜鸟罢了的博客 电信,银行统计营收和针对用户的个人画像:处理大量非实时数据 政府:健康码,扫码之后确诊,找出与确诊对象有关联的人 订单 订单表(除商品以外所有信息),商品详情表,通过搜集用户title进行定制化推荐 点击流数据 通过...
  • 大数据开发面试知识点总结
    2021-02-09 11:22
    GoAI的博客 ​本文详细介绍大数据hadoop生态圈各部分知识，包括不限于hdfs、yarn、mapreduce、hive、sqoop、kafka、flume、spark、flink等技术，总结内容适合大数据开发者学习，希望能够和大家多多交流。
  • excel处理几十万行数据_如何用Excel处理200万行以上数据？
    2020-12-18 17:54
    weixin_39897267的博客 关于如何用Excel处理200万行以上数据问题，现在已经完全没有压力了，虽然Excel工作表本身只支持1048576行数据，而且如果真的在一个表里数据导到100万行以上，这个表基本就跑不动了。但是，随着Excel2016的内置新功能...
  • 大数据知识汇总
    2022-07-17 13:10
    光数葱丁的博客 本文主要介绍大数据相关的技术和项目目录1.1文章介绍介绍1.2项目介绍1.3 项目指标1.3.1离线指标1.3.2实时指标1.3.3最难的两个指标1.4项目遇到问题1.4.1 Sqoop1.4.2Flume1.4.3Kafka1.4.4Hadoop1.5 项目相关流程问题1....
  • 数据库国产化探究及升级改造过程指导
    2024-03-18 17:59
    羌俊恩的博客 如果计算出的数据量大小超过了哈希缓冲区的大小，则使用 DM8 创新的外存哈希方式；如果没有超过哈希缓冲区的大小，实际上还是使用内存池来进行哈希 操作。可在 dm.ini 中使用参数 HJ_BUF_SIZE 来进行控制，该值的...
  • 没有解决我的问题, 去提问

问题事件

  • 系统已结题 10月6日
  • 已采纳回答 9月28日
  • 创建了问题 9月28日