super_fresh 2019-06-14 18:06 采纳率: 0%
浏览 498

影响window系统中kettle的“表输入”控件抽数效率的因素有哪些,如何提高读取效率

原表有8000万数据,目标表没有索引,抽数速度很低,前期2300条/秒,后期速度越来越低,入库速度也很低。
如下是数据库以及kettle所在windows系统的一些信息:

1、oracle是安装在windows server操作系统中的,数据库版本为11.2,系统内存为16G,数据库SGA如下:

图片说明
图片说明

2、kellte安装在windows7操作系统中,kettle版本为8.2,系统内存为8G,启动内存分配如下:

set PENTAHO_DI_JAVA_OPTIONS="-Xms1024m" "-Xmx2048m" "-XX:MaxPermSize=256m"

目前实施过的方法有:
1. kettle最小内存从1G增加到2G,最大内存从2G增加到3G
2. 目标表从1000条一提交改为50000条一提交
3. 转换设置-->杂项-->记录集合里的记录数 从10000上调为11000

只有第3种方法,能使效率提高20%左右,但也是杯水车薪。

图片说明

希望大神能指点下,调整什么地方可以提高效率,或者还需要我提供什么信息。

  • 写回答

1条回答 默认 最新

  • 憧憬blog 2023-03-15 06:42
    关注

    针对影响 window 系统中 Kettle "表输入" 控件抽数效率的因素以及如何提高读取效率的问题,以下是我的建议:

    1. 提高数据库性能,尽可能减少查询时的 I/O 操作。可以通过优化 SQL 语句、增加索引等方式来提高数据库查询效率。

    2. 面对数据量比较大的情况,可以考虑增加目标表索引,利用索引优化 SQL 查询语句,提高查询效率。

    3. 尝试调整 Kettle 软件内存分配参数,比如增加最小内存设置,以及增加最大内存设置,提高 Kettle 程序执行效率。

    4. 考虑采用多线程或分批处理的方式,以便提高程序执行效率。将数据按照一定大小进行分批处理,每批处理完毕再导入到目标表中,可以大幅提高效率。

    5. 优化数据源,可以采用一些稳定的数据源或者采用专业的数据源。

    希望这些建议能够对你有所帮助。如有更多的问题,欢迎再次咨询。

    评论

报告相同问题?

悬赏问题

  • ¥15 r语言如何绘制这样的降水地图
  • ¥15 服务器一块硬盘重启过程中安装后,硬盘不识别了怎么修复?
  • ¥15 0基础学机器人运动控制要多久?
  • ¥15 .net core 怎么进行中英文转换
  • ¥15 数学的三元一次方程求解
  • ¥20 iqoo11 如何下载安装工程模式
  • ¥15 本题的答案是不是有问题
  • ¥15 关于#r语言#的问题:(svydesign)为什么在一个大的数据集中抽取了一个小数据集
  • ¥15 C++使用Gunplot
  • ¥15 这个电路是如何实现路灯控制器的,原理是什么,怎么求解灯亮起后熄灭的时间如图?