项目需要隔天备份之前的数据,生产库每天都有数据产生,纯粹的增量数据容易处理,但是有些数据是已经备份在ORacle库中的,只是修改了某个字段的数值,这部分数据dataX能不能覆盖更新到Oracle库中?具体怎么实现?主表的数据量比较大,有10亿左右,所以建临时表比对先删后插入的方法和去重的方法都不能实现,通过存储过程已经测试过了,效率太低了,所以想着找找dataX中有没有覆盖更新的方法?
关注
码龄 粉丝数 原力等级 --
- 被采纳
- 被点赞
- 采纳率
dataX 可以覆盖写入到Oracle库中吗?
收起
- 写回答
- 好问题 0 提建议
- 关注问题
微信扫一扫点击复制链接分享
- 邀请回答
- 编辑 收藏 删除 结题
- 收藏 举报
1条回答 默认 最新
- 关注
码龄 粉丝数 原力等级 --
- 被采纳
- 被点赞
- 采纳率
此木Y 2022-10-20 10:27关注可能得2开吧,我们中台用的是dataX,目标表有主键的话,可以实现增量覆盖更新的
本回答被题主选为最佳回答 , 对您是否有帮助呢? 本回答被专家选为最佳回答 , 对您是否有帮助呢? 本回答被题主和专家选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
微信扫一扫点击复制链接分享
评论按下Enter换行,Ctrl+Enter发表内容
报告相同问题?
提交
- 2023-05-29 10:25在Oracle到HDFS的同步场景中,DataX扮演着ETL(Extract-Transform-Load)的角色,将Oracle中的数据抽取出来,经过必要的转换,然后加载到HDFS中。 配置文件模板是DataX执行任务的基础,以下是一个基本的配置示例: ...
- 2024-10-29 11:01凡许真的博客 datax配置Oracle任务写数据到hdfs
- 2020-08-01 19:35针对ClickHouse这款高性能列式数据库,DataX提供了专门的ClickHouse读写插件,使得我们可以方便地实现MySQL、Oracle等关系型数据库到ClickHouse的数据迁移,以及从ClickHouse到其他数据库的反向同步。本文将深入探讨...
- 2023-05-29 10:27如果需要 DataX 支持其他数据库,可以在 RDBMSReader 的插件目录下找到 `plugin.json` 文件,添加对应数据库的 JDBC 驱动到 `drivers` 数组中。DataX 在运行时会根据 `jdbcUrl` 自动选择合适的驱动进行连接。 4. *...
- 2023-05-06 08:41一瓢一瓢的饮 alanchanchn的博客 本文介绍oracle的相关同步,oracle同步到hdfs中。本文分为三部分,即配置文件模板、配置文件和提交任务。本文的前提:数据库对应的表已经建好。
- 2023-05-16 15:57DataX技术是阿里巴巴开源的一款强大的数据同步工具,它支持多种数据源之间的数据迁移,包括从关系型数据库到大数据存储系统,以及从一个大数据系统到另一个大数据系统的数据同步。在这个特定的场景中,我们关注的是...
- 2022-06-21 16:04明哥的IT随笔的博客 如何使用 DATAX 以 UPSERT 语义更新下游 ORACLE 数据库中的数据?
- 2022-01-04 16:52godkzz的博客 一、读取数据存到 MySQL 1.MySQL 中创建表 [oracle@hadoop102 ~]$ mysql -uroot -p000000 mysql> create database oracle; mysql> use oracle; mysql> create table student(id int,name varchar(20))...
- 2022-12-28 14:463. **数据加载(Load)**:数据抽取和转换后,DataX Web 将数据批量写入目标数据存储系统,如另一数据库、数据仓库或大数据平台。此过程注重效率和稳定性,以减少对生产环境的影响。 三、DataX Web的特点与优势 1....
- 2023-05-19 12:11微亮之海的博客 数据抽取工具DataX数据源oracle 数据量 4184500目标表hive 数据量 4184555抽取后多了55条数据。
- 2021-07-21 10:22十步杀一人_千里不留行的博客 网上关于此方面的内容较少,而且比较零散,正好项目中需要对ES7做预研,所以整理出了这篇文章。 ElasticSearch版本为7.13.2 分如下几个主题: 1.Datax的es导入插件elasticsearchwriter 1.1.从datax的github地址...
- 2020-12-28 15:13NE0Matrix的博客 数据同步的核心数据同步是企业拥抱数据中台真正落地的第一步,这一步至关重要。这步核心要解决的事情是:确定围绕着本期数据中台规划需要达到的目标,围绕着这个目标我们需要明确我们要支持哪些Source源(就是数据...
- 2023-05-29 10:23在调度流程中,DataX Job会根据数据源的特性,如分库分表,将作业拆分成多个Task,然后分配到TaskGroup中并发执行。例如,若将100张分表的MySQL数据同步到ODPS,配置20个并发,则可能需要4个TaskGroup,每个负责5个...
- 2024-06-21 16:01书生♡的博客 数仓工具Data X 的使用!使用DataX是如何进行数据的传输也就是说怎么从mysql或者是SQLserver数据库将数据传输到hive数仓中!Data X怎么使用!数据的同步方式!
- 2021-01-01 13:08weixin_39550379的博客 一、需求有赞大数据技术应用的早期,我们使用 Sqoop 作为数据同步工具,满足了 MySQL 与 Hive 之间数据同步的日常开发需求。随着公司业务发展,数据同步的场景越来越多,主要是 MySQL、Hive 与文本文件之间的数据...
- 2024-04-26 11:00麦当当MDD的博客 DataX 实现了包括 MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS, databend 等各种异构数据源之间高效的数据同步功能。
- 没有解决我的问题, 去提问