我往postgre数据库里插入100万条数据，数据以csv文件方式读入前端java、设置1000条提交一次。数据库表结构在store_code ，character varying(4)和goods_stk_no，character varying(30)建主键，并且这两个字段是索引，当数据为1001,100000000000000000000000000000时，执行时间为11至13分钟，当数据为GT01，GOODSN000000000000000000000001时，执行时间为3分钟，大大缩短，请问这是怎么回事呢？可以从什么方向上改进？
3条回答 默认 最新
M44346460 2014-01-28 22:02关注如果你只是想着把数据导入的话，那我会建议你不要用sql导入，直接以文本的方式导入。速度至少是用SQL导入的10倍都不止！
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
分享
- 2019-03-12 13:57fonlemon的博客 我的目标是插入100000000万条数据 经过实际操作，用以下方法，能在4分钟完成 declare ii integer; begin II:=1; FOR ii IN 1..100000000 LOOP INSERT INTO test1(id, test1, test2, test3, test4, test5, test...
- 2018-09-04 11:39Mr.Lpp的博客 1、设置表nologging 2、使用/*+append*/ 3、手动分配区 alter table t1 allocate extent; alter table t1 allocate extent(datafile 'D:\ORACLE\ORADATA\O10\USERS01.DBF‘ size 9k); 4、关掉归档 ...
- 2024-06-29 16:57糖葫芦.T的博客 通过以上综合的优化策略和方法，可以显著提高 PostgreSQL 在处理大规模数据插入时的性能。但需要注意的是，每个系统的环境和需求都有所不同，因此需要根据实际情况进行针对性的优化和调整。在进行优化过程中，持续...
- 2021-09-06 17:52webmote的博客 ????欢迎点赞 ：???? 收藏 ⭐留言 ??... 如有错误敬请指正，赐人玫瑰，手留余香！...作者格言： 生活在于折腾，当你不折腾生活时，生活就开始折腾你，让我们一起...对大部分数据库来说，批量插入数据都是比较简单的事情，最
- 2022-08-26 09:51一个搬砖的程序猿的博客 PostgreSQL数据库导入大量数据时如何优化
- 2021-10-11 15:46传而习乎的博客 在PG上快速插入数据有几种方案？每种方案的效率怎么样？如何调优能加快的数据装载？ 场景设定 SQL日志分析是一个采集JDBC日志、分析SQL、发送分析结果工具。在分析阶段，需要解析大量的JDBC日志，并把解析后的结构...
- 2017-12-11 12:57wangzhen3798的博客 在Abase上快速插入数据有几种方案，每种方案的效率怎么样？如何调优能加快的数据装载？场景设定SQL日志分析是一个采集JDBC日志、分析SQL、发送分析结果工具。在分析阶段，需要解析大量的JDBC日志，并把解析后的结构...
- 2019-01-14 10:20Amos-Chen的博客 do $$ declare v_idx integer := 1; begin while v_idx < 96 loop INSERT INTO table(col1,col2) values (v_idx, 123); v_idx = v_idx + 1; end loop; end $$;
- 2019-03-09 18:26吃着火锅x唱着歌的博客 insert into schema.table select generate_series(1,10000),'a';...以上表中有一列int类型列和一列char型列，generate作用为产生数列1、2、3…10000，因此执行完以上语句后表中被插入了10000条数据。 ...
- 2020-06-16 10:01天津赫本的博客 1.输出大写字母 select chr(int4(random()*26)+65); 2.输出随机整数 select floor(random()*10);...循环插入表 do $$ declare num integer = 1; begin while num < 10 loop insert into 表名 ...
- 2019-08-03 12:39msdnchina的博客 本文转自如上网址。 1.对于mysql数据库，driverurl中加入:allowMultiQueries=true&rewriteBatchedStatements=true; 这样在使用jdbctemplate插入的时候，类似: private void insertData(JdbcTem...
- 2021-04-29 20:09jerry-89的博客 在PostgreSQL中如何用简单的几条SQL语句生成大量的测试数据呢? 此处，我简单的写一个例子，经过测试的： （1）准备知识 针对 Postgres生成数据方法 <1>生成序列====》 SELECT * FROM generate_series...
- 2022-10-20 12:58pipafu的博客 解决方法：在备用机器的postgre配置文件的 postgresql.conf 中，有一个名为 datestyle 的设置。最近在备份传输postgre数据库数据时遇到时间插入问题，
- 2019-03-13 16:05哈哈哈哈哈哈哈111的博客 1.对于mysql数据库，driverurl中加入:allowMultiQueries=true&... 这样在使用jdbctemplate插入的时候，类似: private void insertData(JdbcTemplate insertJdbcTemplate, String insertCoreSql, List<...
- 2024-06-09 00:04walking_w的博客 Nacos 2.3.3支持Postgre SQL数据源配置 1、Nacos下载 2、 插件下载： 3、SQL脚本获取、nacos数据库创建、插件编译 4、Nacos 集群搭建方式： 1、Nacos下载 下载地址： ... 2、Postgre SQL脚本获取： 3、在postgre sql...
- 2024-07-06 17:36墨松CC的博客 PostgreSQL 批量数据插入时，性能优化是一个重要的考量因素，因为高效的数据插入操作对于大型应用和数据处理任务至关重要。我分享下如何有效地处理批量数据插入以及提高其性能，并提供相应的解决方案和代码。
- 2021-11-11 17:01yang_z_1的博客 postgresql 数据库 INSERT 或 UPDATE ...最近这段时间一直使用pg 数据库插入更新大量的数据，发现pg数据库有时候插入数据非常慢，这里我对此问题作出分析，找到一部分原因，和解决办法。 一 死元祖过多 提起pg数据库，
- 2020-01-17 11:26pigs2018的博客 方法一 ，适用数据量较小的情况 delete from tablename; 方法二，适合删除大量数据，速度快 TRUNCATE TABLE tablename; 若该表有外键，要用级联方式删所有关联的数据 TRUNCATE TABLE tablename CASCADE; ...
- 2020-11-04 09:15Hello Bug的博客 步骤三 -- 重建索引，替换查询效率 REINDEX TABLE 表名; 其他技能，PG常用命令 函数名 返回类型 描述 pg_column_size(any) int 存储一个指定的数值需要的字节数（可能压缩过） pg_database_size(oid) bigint 指定...
- 没有解决我的问题, 去提问
