KyKiske22 2018-01-23 01:40 采纳率: 0%
浏览 5044
已结题

求问，kettle如何设置数据传输数量？

输出控件中的“插入/更新”控件中的提交记录数量并没有反应，比如A表一共20000条数据要录入B表，但是每次插入的数据最多有1000条，改如何设置呢？

  • 写回答

2条回答 默认 最新

  • 山东大熊 2018-01-23 05:29
    关注

    “插入/更新”中的数量设置是指从A表提取数量达到1000条时（此时数据存储于内存中），把这1000条提交给B表；
    缓存的大于取决于你kettle设置的jvm的大小

    评论

报告相同问题？

  • kettle实现SQL关联查询
    2024-04-03 11:38
    Kettle，也称为Pentaho Data Integration（PDI），是一款强大的ETL（Extract, Transform, Load）工具，用于数据整合和清洗。它以其图形化的界面和灵活的数据处理能力而受到广泛欢迎。在Kettle中，Step是数据流中的...
  • kettle全量多表数据同步
    2018-05-06 18:12
    异构数据传输是指将不同类型的数据库之间的数据进行迁移。在本例中，主要涉及的是从Oracle数据库到MySQL数据库的数据迁移。这一过程可以通过多种方式实现，但在这里我们使用Navicat工具来完成这一任务。 - **安装...
  • 1.4 Kettle 数据同步工具详细教程
    2024-06-23 19:30
    野老杂谈的博客 Kettle，又名 Pentaho Data Integration（PDI），是一个开源的数据集成工具，最初由 Pentaho 公司开发。它能够从多种数据源提取、转换并加载（ETL）数据，适用于数据仓库建设、数据迁移和数据同步等场景。Kettle...
  • Kettle 加快数据入库速度
    2023-08-16 12:22
    wzy0623的博客 Kettle 加快数据入库速度
  • kettle 提交数据量_利用Kettle进行数据同步（上）
    2020-12-20 11:53
    weixin_39904587的博客 写这篇文章，是源于公司内部的一个常见需求：将生产环境的数据同步到测试环境，以便更方便的进行测试和bug定位。起初是用的Navicat Premium这款DB管理软件，功能非常强大了，足以满足开发人员的日常工作需求，也包括...
  • kettle 提交数据量_kettle大数据量读写mysql性能优化
    2020-12-30 06:35
    嘿bro的博客 修改kettleDB连接设置 1. 增加批量写的速度：useServerPrepStmts=... 增加读的速度：useServerPrepStmts=truecachePrepStmts=true参数说明：1)useCompression=true，压缩数据传输，优化客户端和MySQL服务器之...
  • Kettle迁移数据优化
    2024-10-02 14:05
    小破孩（^o^）的博客 因为需要迁移4年的数据，数量量也比较大，所以使用了变量几天几天去迁移，如果中间有发生错误可以从某天开始迁移，大表的话可以通过这种方式分段迁。2、校验字段值：这个是设置结束的日期，表示开始日期小于20240101...
  • 除了Kettle，这款国产ETL工具是否更胜一筹？
    2025-05-28 22:09
    Leo.yuan的博客 本文对比了开源ETL工具Kettle与国产工具FineDataLink(FDL)的主要差异。...文章建议企业根据数据规模、技术团队能力和长期规划选择适合的工具，对于追求高效管理和质量控制的企业，FDL可能是更优选择。
  • js kettle 设置变量_Kettle数据提取效率提升(30W数据从100分钟到23秒优化过程)
    2020-12-25 19:44
    weixin_39855706的博客 我自己建立了一个模拟数据抽取/插入的过程，数据量在30W左右，初始速度如下图所示，每秒平均50条左右，大概需要100分钟的时间 这还仅仅是个30W的测试环境，对于在生产环境中上百万/上千万的数据，可想而之会慢成什么...
  • kettle 提交数据量_基于kettle工具提高表输出写入速度（每秒万条记录）
    2020-12-30 06:35
    啊宇哥哥的博客 概述最近用kettle时发现输出到数据表太久，1小时才写了3万条数据，平均每秒速度为8条，基于此，做一下改进。优化1：优化网络连接属性mysql表输出的时候出现减速的原因可能是因为网络链接的属性设置在此处添加参数：...
  • 没有解决我的问题, 去提问