上去就一个404 2017-12-25 02:35 采纳率: 0%
浏览 1624
已结题

talend ETL 时间戳的方法进行增量抽取相关问题

现在有个项目是气象数据接口开发 在抽取数据的时候用到了ETL增量抽取 想用时间戳的方式进行增量 现在有思路 但是具体怎么实现还不清楚 ， 网上看到的大神麻烦留下些经验和方法

  • 写回答

2条回答 默认 最新

  • 上去就一个404 2017-12-25 02:38
    关注

    我的思路是 查询目标库最大时间，然后作为参数，去源库查这个时间之后的数据 具体怎么实现 怎么从目标库拿到最大时间作为参数 每一步都不知道怎么实现，有做过得麻烦教教，刚研究这个 不是很清楚

    评论

报告相同问题？

  • tomcat自动关闭 tomcat
    2009-07-02 11:13
    回答 4 已采纳 如果有错误就抛出RuntimeException，但是实际中却发现，运行错误的时候tomcat也自动挂掉了。 ？莫非你没有捕捉住自己抛的异常？能不能把问题描述的更清楚一点？
  • ETL工程师面试题
    2023-11-02 13:38
    IT北辰的博客 **合理选择ETL工具：** 使用专业的ETL工具，如Apache NiFi、Talend、Informatica等，可以简化数据抽取的流程，并提供一些优化性能的选项。 6. **数据库优化：** 如果数据源是数据库，确保数据库的索引和统计信息是...
  • ETL工具之Kettle开发教程第一节-入门
    2023-01-30 14:14
    Elcker的博客 Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式...
  • 【ETL工具将数据源抽取到HDFS作为高可靠、高吞吐量的分布式文件系统存储】
    2023-06-20 08:30
    Java程序员廖志伟的博客 常见的ETL工具包括Apache Nifi、Talend、Informatica、Datastage等。不论使用哪个工具，将数据源抽取到HDFS作为高可靠、高吞吐量的分布式文件系统存储是ETL工具的一项基本功能。
  • ETL工具 大全（商业、开源）核心对比
    2021-03-12 22:29
    little_bee_2004的博客 列表如下： 序号 名称 软件性质 数据同步方式 ... 支持增量抽取，增量抽取的处理方式，增量加载的处理方式，提供数据更新的时间点或周期 .
  • ETL过程及常用工具简介
    2020-11-12 20:32
    即将拥有八块腹肌のFF的博客 ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成， 最后加载到数据仓库或数据集市中，成为联机分析处理、 数据挖掘的基础。 ETL是数据仓库中的非常重要的一...
  • 数据开发-ETL-Kettle-pdi-ce-8.2.0.0-342
    2021-07-18 18:00
    wsds_0的博客 ETL工具之Kettle ...市面上常用的ETL工具有很多，比如Sqoop，DataX，Kettle，Talend等，作为一个大数据工程师，我们最好要掌握其中的两到三种，这里我们要学习的ETL工具是Kettle！ 1.2 Kettle简介 1.2.1 Kettle
  • ETL详解
    2019-11-06 12:45
    特约码农的博客 ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程，ETL是BI项目重要的一个环节，目的是将企业中的分散、零乱、标准不统一的...
  • 大数据面试真题_数据仓库
    2023-08-01 11:41
    MetaTrade的博客 数据从源系统中提取，并进行清洗、转换和加载（ETL）操作，以满足数据仓库的需求。 - 数据仓库层：这一层包含了数据仓库的核心组件，包括数据存储区（如关系型数据库或数据湖）、维度表和事实表等。数据仓库层负责...
  • 一篇搞定，Kettle详细教程
    2023-09-21 11:54
    大数据东哥(Aidon)的博客 本文主要以Kettle概述、Kettle开发环境部署、mac m1 kettle安装、linux kettle安装、kettle集群安装部署、kettle输入、kettle输出、kettle...大数据、kettle streaming控件、kettle作业、kettle调度、kettle变量和参数
  • 数仓：数据同步之道、数据接入技术栈、ETL加载策略
    2021-04-16 18:24
    四月天03的博客 ETL工具或类ETL的数据集成同步工具或语言，企业生产中工具也非常之多，主流的etl工具有Sqoop、DataX、Canal、flume、Logstash、kettle、DataStage、Informatica、Talend等，语言有强悍的SQL、Shel...
  • 原创干货 | 史上最全的大数据学习资源(Awesome Big Data)
    2019-09-24 00:23
    Hadoop技术博文的博客 很多人在学习大数据的时候比较迷茫，不知从何学起，也不能够比较系统、全面的了解大数据框架。为此，过往记忆花了一个周末的时间把 Awesome Big Data （https...
  • ETL工具对比
    2023-10-19 17:19
    AllenGd的博客 数据抽取 分为全量抽取和增量抽取，数据量达到百万级别建议用增量抽取，小于百万级别可用增量抽取。同时第一次抽取都采用全量抽取。抽取过程中，注意空值处理，字符匹配，以及空格处理，数据错位等等有可能影响最终...
  • BD总结第三天
    2023-09-21 15:19
    密斯特.张先生的博客 以下是一些常见的JSON数据入仓方案以及如何进行选择： 批量ETL流程： 方案描述： 将JSON数据定期批量抽取、转换和加载（ETL）到数据仓库。可以使用ETL工具（如Apache NiFi、Talend、Apache Spark等）来处理JSON数据...
  • 互联网大厂大数据面试题汇总及参考答案（5万字长文）
    2024-04-11 16:43
    大模型大数据攻城狮的博客 79 描述你如何使用 ETL 工具进行数据处理。 80 如何优化大数据查询的性能？ 81 描述数据倾斜问题及其解决方案。 82 如何进行大数据集群的性能调优？ 83 描述内存管理和垃圾回收在大数据中的重要作用。 84 如何监控...
  • 如何优化ETL开发，以实现BI项目的最佳效果？
    2024-04-08 08:10
    Leo.yuan的博客 增量更新的问题 对于数据量大的系统，必须考虑增量抽取。一般情况下，业务系统会记录业务发生的时间，我们可以用来做增量的标志,每次抽取之前首先判断ODS中记录最大的时间，然后根据这个时间去业务系统取大于这个...
  • Datax和Kettle使用场景的对比
    2021-10-19 08:50
    数据与后端架构提升之路的博客 面向数据仓库建模传统ETL工具 面向数据仓库建模传统ETL工具 使用方式 C/S客户端模式，开发和生产环境需要独立部署，任务的编写、调试、修改都在本地，需要发布到生产环境，线上生产环境没有界面，需要...
  • 数据集成-5-批数据集成
    2022-03-15 09:02
    SpriCoder的博客 增量抽取 Transform（Cleaning、Transform） 数据清洗（是一个反复的过程，需要不断修正） 不完整的数据（名称、区域信息等） 补全 错误的数据（数值输成全角字符、日期越界等） 用SQL语句找出后，在业务系统修正后...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥15 #MATLAB仿真#车辆换道路径规划
  • ¥15 java 操作 elasticsearch 8.1 实现 索引的重建
  • ¥15 数据可视化Python
  • ¥15 要给毕业设计添加扫码登录的功能！！有偿
  • ¥15 kafka 分区副本增加会导致消息丢失或者不可用吗？
  • ¥15 微信公众号自制会员卡没有收款渠道啊
  • ¥100 Jenkins自动化部署—悬赏100元
  • ¥15 关于#python#的问题：求帮写python代码
  • ¥20 MATLAB画图图形出现上下震荡的线条
  • ¥15 关于#windows#的问题：怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘