Kettle抽取失败后重新抽取漏抽数据 1C

请问各位大神,如果有某种原因使得每天抽一次的kettle抽取挂了,那么后面几天内时间没有抽取的数据,你们是怎么处理的

1个回答

一般抽取数据都是根据自增主键或者时间来的,每次抽取大于前一次的纪录。
漏抽的数据可以根据唯一主键,使用插入更新控件,然后勾选不执行更新

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
有人熟悉怎么使用kettle实现从一个数据源抽取数据到另一个数据库源吗
最近在学习ETL工具Kettle抽取数据,使用Kettle工具抽取 然后在作业里定期执行抽取作业...
在程序中调用shell脚本执行kettle抽取报错
前提:服务器中间件用的是weblogic,操作系统用的是linux,kettle在服务器端执行抽取完全没有问题; 但是在程序中远程调用shell脚本执行却报错,以下是程序中调用代码: ... String[] command = { "/bin/sh", "-c", "XX.sh" }; Process ps = Runtime.getRuntime().exec(command); ... 报错信息为Error occured while trying to connect to the database! 已知:shell脚本路径没有问题、数据库一切正常、kettle数据库配置文件也没问题,kettle在服务器端执行抽取完全没有问题; 请各位大神帮忙分析下原因!谢谢! ![图片说明](https://img-ask.csdn.net/upload/201705/12/1494578158_306718.jpg)
怎么使用kettle进行增量数据的抽取?
场景介绍: 我要从Oracle库中把Oracle_A表中的数据同步到DB2库中的DB2_A表中,使用kettle。 现在我有多张表需要同步,有的表有数据加载时间字段,有的没有数据加载时间字段。 请教各位大佬应该怎么实现?希望各位大佬不吝赐教!跪谢! (百度上也能搜到不少,不过细节挺少的,也许是我水平不够吧)
kettle抽取gz格式文件
kettle用文本输入读取gz文件,日志显示 该文件不是文件,看过论坛上的一篇文章,必须设置通配符吗?我试了试读取del文件也提示相同的错误
如何实现kettle增量数据的抽取,从一个多个数据库同步到一个数据库?
目前有个想法,有两个甚至多个syabse数据库,一个oracle数据库, 将syabse数据库的增量数据,实时完整的同步到oracle数据库, 能否实现,如何实现?
kettle 中如何调用http接口,并传参
在抽取完 对比出新增人员作为参数 ,如何向 接口的url 里一个一个传参数, http://xxxxxxxxxxxxxx/vpn/addUserVpn?userId=***&deptId=***&pwd=***
kettle从一张表抽取数据分别插入到多张表中
![图片说明](https://img-ask.csdn.net/upload/201806/20/1529480744_999276.jpg) 讲师表中需要生成UUID,中间表要存放这两张表的关联关系并且生成UUID 这个该怎么做,跪求指导!!!
用kettle把数据从mysql数据库中抽取到oracle库中字段出现问题
字段得的值是空值,然后运行kettle报错说标识符无效。 这个是oracle的字段 ![图片说明](https://img-ask.csdn.net/upload/201906/28/1561705825_769569.png) 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。 这个是Mysql中的字段 ![图片说明](https://img-ask.csdn.net/upload/201906/28/1561705850_478697.png) 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。 这个是报错的问题。 ![图片说明](https://img-ask.csdn.net/upload/201906/28/1561705878_237143.png) 是什么原因???求各路大神路过能解决下
kettle数据同步中遇到的典型主键和时间戳乱序的问题
在做数据同步时遇到这么一个问题,对方数据由于业务需要,无法确定主键和时间戳(主键乱序,时间戳不是递增的),在抽取一定主键和时间戳范围的数据后,对方数据库又进来一些数据,这些数据中主键值比我们下一次开始抽取的主键范围要小,时间戳同理,这样就造成了数据丢失,请问如何才能将这些数据抽取到???
各位大神,ETL问题(kettle)
我刚用kettle,用户有这么一个要求,要求查看中文字段的表,现在要把A表抽到B表里,A和B一模一样,只不过A的name变成了B的姓名,怎么才能抽取呢,在线急等
kettle7.1抽取oracle11gR2 提示错误 Io exception: Connection reset
``` 2019/06/11 18:18:19 - 表输入.0 - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : An error occurred, processing will be stopped: 2019/06/11 18:18:19 - 表输入.0 - Error occurred while trying to connect to the database 2019/06/11 18:18:19 - 表输入.0 - 2019/06/11 18:18:19 - 表输入.0 - Error connecting to database: (using class oracle.jdbc.driver.OracleDriver) 2019/06/11 18:18:19 - 表输入.0 - Io exception: Connection reset 2019/06/11 18:18:19 - 表输入.0 - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : Error initializing step [表输入] 2019/06/11 18:18:19 - tr_ibs_aitrp101 - ERROR (version 7.1.0.0-12, build 1 from 2017-05-16 17.18.02 by buildguy) : Step [表输入.0] failed to initialize! 2019/06/11 18:18:19 - 表输入.0 - Finished reading query, closing connection. 2019/06/11 18:18:19 - 获取会计日.0 - Finished reading query, closing connection. 2019/06/11 18:18:19 - 执行SQL脚本.0 - Finished reading query, closing connection. Unable to prepare and initialize this transformation ``` 服务器centos7.6 ojdbc6.jar 试过spoon.sh添加-Djava.security.egd=file:/dev/./urandom没有生效
offer问题,有经验的前辈请指教下
是关于数据抽取、数据仓库、数据挖掘方面的工作, 工作主要要求: 负责ETL逻辑、OLAP和数据挖掘; 负责前台展示的报表设计和开发。 使用工具:kettle或arcplan。 这样的工作前景怎么样?
关于集群的自动化配置部署和更新方案
先花些时间唠叨下我做的《XX行业生产云》的需求,然后结合着这些需求请教各位专家一系列的问题。 ## 功能需求: 生产企业内部有局域网,连接办公环境和相关的生产设备,并且有连接互联网的出口。生产过程由办公环境(B/S架构)向局域网内的设备发送生产指令,生产的运行状态实时可以回显给办公环境。局域网内满足该需求就需要部署一个常规的Web应用服务站点加关系型数据库(目前尚不需要实时数据库)就可以完成。 ![图片说明](https://img-ask.csdn.net/upload/201604/11/1460376202_613262.png) ## 多租户需求: 《XX行业生产云》提供“多租户”的模式,为XX行业各相关生产企业提供SaaS云服务。之所以采用“云”的形式,是因为这个行业内各工厂生产流程和业务逻辑基本类似,从技术角度来说可以用同一套代码逻辑和相同的数据库结构。 ## 稳定性和实时性需求: 由于生产企业对数据和操作有一定的实时性要求,并且网络(运营商提供的互联网服务)短时间的中断不能影响生产进度,因此各工厂局域网内部需要部署一个服务器,为办公环境提供Web服务(B/S架构)并连接相关的生产设备。 ## 运维需求: 使用这个服务的工厂有上百家,如果每个工厂都部署一台服务器并为厂区内提供相关的服务的话,这样运维这么多台服务器的难度和工作量很大。更何况系统建设初期服务版本升级(如代码补丁、数据库结构变化、安装软件等)会比较频繁,大量的服务器升级也会有很多的问题,如升级期间服务中断、升级失败造成版本不一致影响以后的升级、升级期间接口要同时支持两个版本等。 ## 我的方案: 为了满足以上需求,我把生产云设计为“云+端”两部分。“云”提供对实时性要求不是很高的SaaS服务;“端”部署在每个工厂的局域网内提供对实时性要求较高的服务,对“云”进行扩展。形成一个“云”多个“端”的模式(这里的“端”和物联网中“端”的概念是有区别的)。每个工厂里的“端”都有着相同的逻辑代码和数据结构,不同的可能就只有IP地址、MAC地址以及数据库中的数据了。 ![图片说明](https://img-ask.csdn.net/upload/201604/11/1460376225_77263.png) 部署方案如下: ![图片说明](https://img-ask.csdn.net/upload/201604/11/1460376277_922866.png) ## 问题来了: 1、 这种类似“云+端”的模式业界都怎么实现的?没有成熟的方案和案例?如果有的话我们可以考虑购买或合作。 2、 SaaS云的目的是为了抽取共性而集中提供服务、为了整合资源而集中管理,其部署一般是通过集群计算来实现的。而“端”又是分布式的方式,很接近于网格计算。集群计算与网格计算这两种模式共存是否矛盾? 3、 “端”是否可以使用CDN技术以降低其管理难度? 4、 “云”要对所有的“端”进行管理和控制,通过什么技术方式来实现?用Linux下的集群管理工具Puppet/Chef/Ansible/SaltStack/Cfengine?还是Zookeeper?还是Google的Borg?还是用现在比较流行的CoreOS?(一定要结合上面的需求) 5、 CoreOS既然是精简版的Linux,那么在其上安装软件和服务是否有限制?单个文件的更新是否高效便捷? 6、 如果“端”上安装CoreOS的话,其应用和数据库如何部署?主要考虑数据结构的升级以及不同“端”存储数据不同的问题。 7、 “云”和“端”之间需要数据同步(异步),有什么比较好的数据同步方案或产品支持?ETL工具,如开源的Kettle?还是MQ产品,如支持MQTT协议的? 求大神赐教!
在中国程序员是青春饭吗?
今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...
《MySQL 性能优化》之理解 MySQL 体系结构
本文介绍 MySQL 的体系结构,包括物理结构、逻辑结构以及插件式存储引擎。
程序员请照顾好自己,周末病魔差点一套带走我。
程序员在一个周末的时间,得了重病,差点当场去世,还好及时挽救回来了。
复习一周,京东+百度一面,不小心都拿了Offer
京东和百度一面都问了啥,面试官百般刁难,可惜我全会。
Java 14 都快来了,为什么还有这么多人固守Java 8?
从Java 9开始,Java版本的发布就让人眼花缭乱了。每隔6个月,都会冒出一个新版本出来,Java 10 , Java 11, Java 12, Java 13, 到2020年3月份,...
达摩院十大科技趋势发布:2020 非同小可!
【CSDN编者按】1月2日,阿里巴巴发布《达摩院2020十大科技趋势》,十大科技趋势分别是:人工智能从感知智能向认知智能演进;计算存储一体化突破AI算力瓶颈;工业互联网的超融合;机器间大规模协作成为可能;模块化降低芯片设计门槛;规模化生产级区块链应用将走入大众;量子计算进入攻坚期;新材料推动半导体器件革新;保护数据隐私的AI技术将加速落地;云成为IT技术创新的中心 。 新的画卷,正在徐徐展开。...
轻松搭建基于 SpringBoot + Vue 的 Web 商城应用
首先介绍下在本文出现的几个比较重要的概念: 函数计算(Function Compute): 函数计算是一个事件驱动的服务,通过函数计算,用户无需管理服务器等运行情况,只需编写代码并上传。函数计算准备计算资源,并以弹性伸缩的方式运行用户代码,而用户只需根据实际代码运行所消耗的资源进行付费。Fun: Fun 是一个用于支持 Serverless 应用部署的工具,能帮助您便捷地管理函数计算、API ...
讲真,这两个IDE插件,可以让你写出质量杠杠的代码
周末躺在床上看《拯救大兵瑞恩》 周末在闲逛的时候,发现了两个优秀的 IDE 插件,据说可以提高代码的质量,我就安装了一下,试了试以后发现,确实很不错,就推荐给大家。 01、Alibaba Java 代码规范插件 《阿里巴巴 Java 开发手册》,相信大家都不会感到陌生,其 IDEA 插件的下载次数据说达到了 80 万次,我今天又贡献了一次。嘿嘿。 该项目的插件地址: https://github....
Python+OpenCV实时图像处理
目录 1、导入库文件 2、设计GUI 3、调用摄像头 4、实时图像处理 4.1、阈值二值化 4.2、边缘检测 4.3、轮廓检测 4.4、高斯滤波 4.5、色彩转换 4.6、调节对比度 5、退出系统 初学OpenCV图像处理的小伙伴肯定对什么高斯函数、滤波处理、阈值二值化等特性非常头疼,这里给各位分享一个小项目,可通过摄像头实时动态查看各类图像处理的特点,也可对各位调参、测试...
2020年一线城市程序员工资大调查
人才需求 一线城市共发布岗位38115个,招聘120827人。 其中 beijing 22805 guangzhou 25081 shanghai 39614 shenzhen 33327 工资分布 2020年中国一线城市程序员的平均工资为16285元,工资中位数为14583元,其中95%的人的工资位于5000到20000元之间。 和往年数据比较: yea...
为什么猝死的都是程序员,基本上不见产品经理猝死呢?
相信大家时不时听到程序员猝死的消息,但是基本上听不到产品经理猝死的消息,这是为什么呢? 我们先百度搜一下:程序员猝死,出现将近700多万条搜索结果: 搜索一下:产品经理猝死,只有400万条的搜索结果,从搜索结果数量上来看,程序员猝死的搜索结果就比产品经理猝死的搜索结果高了一倍,而且从下图可以看到,首页里面的五条搜索结果,其实只有两条才是符合条件。 所以程序员猝死的概率真的比产品经理大,并不是错...
害怕面试被问HashMap?这一篇就搞定了!
声明:本文以jdk1.8为主! 搞定HashMap 作为一个Java从业者,面试的时候肯定会被问到过HashMap,因为对于HashMap来说,可以说是Java集合中的精髓了,如果你觉得自己对它掌握的还不够好,我想今天这篇文章会非常适合你,至少,看了今天这篇文章,以后不怕面试被问HashMap了 其实在我学习HashMap的过程中,我个人觉得HashMap还是挺复杂的,如果真的想把它搞得明明白...
毕业5年,我问遍了身边的大佬,总结了他们的学习方法
我问了身边10个大佬,总结了他们的学习方法,原来成功都是有迹可循的。
python爬取百部电影数据,我分析出了一个残酷的真相
2019年就这么匆匆过去了,就在前几天国家电影局发布了2019年中国电影市场数据,数据显示去年总票房为642.66亿元,同比增长5.4%;国产电影总票房411.75亿元,同比增长8.65%,市场占比 64.07%;城市院线观影人次17.27亿,同比增长0.64%。 看上去似乎是一片大好对不对?不过作为一名严谨求实的数据分析师,我从官方数据中看出了一点端倪:国产票房增幅都已经高达8.65%了,为什...
推荐10个堪称神器的学习网站
每天都会收到很多读者的私信,问我:“二哥,有什么推荐的学习网站吗?最近很浮躁,手头的一些网站都看烦了,想看看二哥这里有什么新鲜货。” 今天一早做了个恶梦,梦到被老板辞退了。虽然说在我们公司,只有我辞退老板的份,没有老板辞退我这一说,但是还是被吓得 4 点多都起来了。(主要是因为我掌握着公司所有的核心源码,哈哈哈) 既然 4 点多起来,就得好好利用起来。于是我就挑选了 10 个堪称神器的学习网站,推...
这些软件太强了,Windows必装!尤其程序员!
Windows可谓是大多数人的生产力工具,集娱乐办公于一体,虽然在程序员这个群体中都说苹果是信仰,但是大部分不都是从Windows过来的,而且现在依然有很多的程序员用Windows。 所以,今天我就把我私藏的Windows必装的软件分享给大家,如果有一个你没有用过甚至没有听过,那你就赚了????,这可都是提升你幸福感的高效率生产力工具哦! 走起!???? NO、1 ScreenToGif 屏幕,摄像头和白板...
阿里面试,面试官没想到一个ArrayList,我都能跟他扯半小时
我是真的没想到,面试官会这样问我ArrayList。
曾经优秀的人,怎么就突然不优秀了。
职场上有很多辛酸事,很多合伙人出局的故事,很多技术骨干被裁员的故事。说来模板都类似,曾经是名校毕业,曾经是优秀员工,曾经被领导表扬,曾经业绩突出,然而突然有一天,因为种种原因,被裁员了,...
大学四年因为知道了这32个网站,我成了别人眼中的大神!
依稀记得,毕业那天,我们导员发给我毕业证的时候对我说“你可是咱们系的风云人物啊”,哎呀,别提当时多开心啦????,嗯,我们导员是所有导员中最帅的一个,真的???? 不过,导员说的是实话,很多人都叫我大神的,为啥,因为我知道这32个网站啊,你说强不强????,这次是绝对的干货,看好啦,走起来! PS:每个网站都是学计算机混互联网必须知道的,真的牛杯,我就不过多介绍了,大家自行探索,觉得没用的,尽管留言吐槽吧???? 社...
良心推荐,我珍藏的一些Chrome插件
上次搬家的时候,发了一个朋友圈,附带的照片中不小心暴露了自己的 Chrome 浏览器插件之多,于是就有小伙伴评论说分享一下我觉得还不错的浏览器插件。 我下面就把我日常工作和学习中经常用到的一些 Chrome 浏览器插件分享给大家,随便一个都能提高你的“生活品质”和工作效率。 Markdown Here Markdown Here 可以让你更愉快的写邮件,由于支持 Markdown 直接转电子邮...
看完这篇HTTP,跟面试官扯皮就没问题了
我是一名程序员,我的主要编程语言是 Java,我更是一名 Web 开发人员,所以我必须要了解 HTTP,所以本篇文章就来带你从 HTTP 入门到进阶,看完让你有一种恍然大悟、醍醐灌顶的感觉。 最初在有网络之前,我们的电脑都是单机的,单机系统是孤立的,我还记得 05 年前那会儿家里有个电脑,想打电脑游戏还得两个人在一个电脑上玩儿,及其不方便。我就想为什么家里人不让上网,我的同学 xxx 家里有网,每...
2020 年,大火的 Python 和 JavaScript 是否会被取而代之?
Python 和 JavaScript 是目前最火的两大编程语言,但是2020 年,什么编程语言将会取而代之呢? 作者 |Richard Kenneth Eng 译者 |明明如月,责编 | 郭芮 出品 | CSDN(ID:CSDNnews) 以下为译文: Python 和 JavaScript 是目前最火的两大编程语言。然而,他们不可能永远屹立不倒。最终,必将像其他编程语言一...
史上最全的IDEA快捷键总结
现在Idea成了主流开发工具,这篇博客对其使用的快捷键做了总结,希望对大家的开发工作有所帮助。
阿里程序员写了一个新手都写不出的低级bug,被骂惨了。
这种新手都不会范的错,居然被一个工作好几年的小伙子写出来,差点被当场开除了。
谁是华为扫地僧?
是的,华为也有扫地僧!2020年2月11-12日,“养在深闺人不知”的华为2012实验室扫地僧们,将在华为开发者大会2020(Cloud)上,和大家见面。到时,你可以和扫地僧们,吃一个洋...
Idea 中最常用的10款插件(提高开发效率),一定要学会使用!
学习使用一些插件,可以提高开发效率。对于我们开发人员很有帮助。这篇博客介绍了开发中使用的插件。
AI 没让人类失业,搞 AI 的人先失业了
最近和几个 AI 领域的大佬闲聊 根据他们讲的消息和段子 改编出下面这个故事 如有雷同 都是巧合 1. 老王创业失败,被限制高消费 “这里写我跑路的消息实在太夸张了。” 王葱葱哼笑一下,把消息分享给群里。 阿杰也看了消息,笑了笑。在座几位也都笑了。 王葱葱是个有名的人物,21岁那年以全额奖学金进入 KMU 攻读人工智能博士,累计发表论文 40 余篇,个人技术博客更是成为深度学习领域内风向标。 ...
2020年,冯唐49岁:我给20、30岁IT职场年轻人的建议
点击“技术领导力”关注∆每天早上8:30推送 作者|Mr.K 编辑| Emma 来源|技术领导力(ID:jishulingdaoli) 前天的推文《冯唐:职场人35岁以后,方法论比经验重要》,收到了不少读者的反馈,觉得挺受启发。其实,冯唐写了不少关于职场方面的文章,都挺不错的。可惜大家只记住了“春风十里不如你”、“如何避免成为油腻腻的中年人”等不那么正经的文章。 本文整理了冯...
作为一名大学生,如何在B站上快乐的学习?
B站是个宝,谁用谁知道???? 作为一名大学生,你必须掌握的一项能力就是自学能力,很多看起来很牛X的人,你可以了解下,人家私底下一定是花大量的时间自学的,你可能会说,我也想学习啊,可是嘞,该学习啥嘞,不怕告诉你,互联网时代,最不缺的就是学习资源,最宝贵的是啥? 你可能会说是时间,不,不是时间,而是你的注意力,懂了吧! 那么,你说学习资源多,我咋不知道,那今天我就告诉你一个你必须知道的学习的地方,人称...
那些年,我们信了课本里的那些鬼话
教材永远都是有错误的,从小学到大学,我们不断的学习了很多错误知识。 斑羚飞渡 在我们学习的很多小学课文里,有很多是错误文章,或者说是假课文。像《斑羚飞渡》: 随着镰刀头羊的那声吼叫,整个斑羚群迅速分成两拨,老年斑羚为一拨,年轻斑羚为一拨。 就在这时,我看见,从那拨老斑羚里走出一只公斑羚来。公斑羚朝那拨年轻斑羚示意性地咩了一声,一只半大的斑羚应声走了出来。一老一少走到伤心崖,后退了几步,突...
一个程序在计算机中是如何运行的?超级干货!!!
强烈声明:本文很干,请自备茶水!???? 开门见山,咱不说废话! 你有没有想过,你写的程序,是如何在计算机中运行的吗?比如我们搞Java的,肯定写过这段代码 public class HelloWorld { public static void main(String[] args) { System.out.println("Hello World!"); } ...
【蘑菇街技术部年会】程序员与女神共舞,鼻血再次没止住。(文末内推)
蘑菇街技术部的年会,别开生面,一样全是美女。
那个在阿里养猪的工程师,5年了……
简介: 在阿里,走过1825天,没有趴下,依旧斗志满满,被称为“五年陈”。他们会被授予一枚戒指,过程就叫做“授戒仪式”。今天,咱们听听阿里的那些“五年陈”们的故事。 下一个五年,猪圈见! 我就是那个在养猪场里敲代码的工程师,一年多前我和20位工程师去了四川的猪场,出发前总架构师慷慨激昂的说:同学们,中国的养猪产业将因为我们而改变。但到了猪场,发现根本不是那么回事:要个WIFI,没有;...
为什么程序猿都不愿意去外包?
分享外包的组织架构,盈利模式,亲身经历,以及根据一些外包朋友的反馈,写了这篇文章 ,希望对正在找工作的老铁有所帮助
Java校招入职华为,半年后我跑路了
何来 我,一个双非本科弟弟,有幸在 19 届的秋招中得到前东家华为(以下简称 hw)的赏识,当时秋招签订就业协议,说是入了某 java bg,之后一系列组织架构调整原因等等让人无法理解的神操作,最终毕业前夕,被通知调往其他 bg 做嵌入式开发(纯 C 语言)。 由于已至于校招末尾,之前拿到的其他 offer 又无法再收回,一时感到无力回天,只得默默接受。 毕业后,直接入职开始了嵌入式苦旅,由于从未...
世界上有哪些代码量很少,但很牛逼很经典的算法或项目案例?
点击上方蓝字设为星标下面开始今天的学习~今天分享四个代码量很少,但很牛逼很经典的算法或项目案例。1、no code 项目地址:https://github.com/kelseyhight...
立即提问