利用kettle工具做数据迁移,如何做到作业job中的数据库连接通配所有数据库 5C

kettle里面的job如果本来是连接的sqlserver,有什么方法能改成mysql吗?场景是:如果做了一版源数据库 sqlserver 迁移到目标数据库 mysql ,现在有新需要 源数据 mysql 迁移到目标数据库mysql。可不可以通过配置,让sqlserver 迁移到 mysql 的这个版本去适配

3个回答

数据迁移 没问题 表结构 不清楚 ,可以自己写一个配置文件 连接写成变量 调用本地的文件

直接用表输入-表输出就可以了,表输入用SQLserver的,表输出用mysql的

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
kettle 增量数据迁移问题(求大神解决)

数据库都是oracle,刷新储存过程,会把源表增删改的数据存到中间表中,flag字段记录增删改状态,修改我们是先删除后添加,再用kettle迁移时,修改有时会先走插入/更新组件,在走删除,这条数据就删除了(如图),表输入时已经由自增id排序,应该怎样解决![图片说明](https://img-ask.csdn.net/upload/201608/23/1471922394_726037.png)

使用kettle工具把oracle数据迁移到Mongo

各位大神好,请教一个问题: 比如现在oracle有三个表:表1,表2,表3 表1是表2的主表 表2是表3的主表 那我对应MongoDB的文档结构应该如下: ``` { "表1字段1":"学校id", "表1字段2":"学校name", "表2表名": { "表2字段1":"学生id", "表2字段2":"学生所属学校id", "表3表名":{ "表3字段1":"学生成绩", "表3字段2":"对应学生id" } } } ``` 我SQL语句使用 表1 left join 表2 on 表2.d = 表1.d left join 表3 on 表3.id = 表2.id 把所有表的字段获取到。 现在我需要把这些字段对应映射到MongoDB,请问我该如何设置 MongoOutput里面的Mongo Document Path

kettle的JOB互相嵌套的作业,在windows上正常运行,迁移到Linux服务器就报错了

windows系统运行正常: ![图片说明](https://img-ask.csdn.net/upload/201907/29/1564389024_347344.png) Linux系统下运行报错: ``` /usr/local/kettle/data-integration/spoon.sh: line 140: ldconfig: command not found ####################################################################### WARNING: no libwebkitgtk-1.0 detected, some features will be unavailable Consider installing the package with apt-get or yum. e.g. 'sudo apt-get install libwebkitgtk-1.0-0' ####################################################################### Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0 log4j:WARN Continuable parsing error 45 and column 76 log4j:WARN Element type "rollingPolicy" must be declared. log4j:WARN Continuable parsing error 52 and column 14 log4j:WARN The content of element type "appender" must match "(errorHandler?,param*,layout?,filter*,appender-ref*)". log4j:WARN Please set a rolling policy for the RollingFileAppender named 'pdi-execution-appender' 16:11:29,469 INFO [KarafBoot] Checking to see if org.pentaho.clean.karaf.cache is enabled 16:11:29,646 INFO [KarafInstance] ******************************************************************************* *** Karaf Instance Number: 1 at /usr/local/kettle/data-integration/./system *** *** /karaf/caches/kitchen/data-1 *** *** FastBin Provider Port:52901 *** *** Karaf Port:8802 *** *** OSGI Service Port:9051 *** ******************************************************************************* Jul 29, 2019 4:11:32 PM org.apache.karaf.main.Main$KarafLockCallback lockAquired INFO: Lock acquired. Setting startlevel to 100 2019/07/29 16:11:36 - Kitchen - Start of run. 2019/07/29 16:11:36 - RepositoriesMeta - Reading repositories XML file: /usr/local/kettle/.kettle/repositories.xml 2019-07-29 16:11:53.034:INFO:oejs.Server:jetty-8.1.15.v20140411 2019-07-29 16:11:53.106:INFO:oejs.AbstractConnector:Started NIOSocketConnectorWrapper@0.0.0.0:9051 Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/blueprint/core Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/configuration/beans Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/configuration/parameterized-types Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/configuration/security Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://schemas.xmlsoap.org/wsdl/ Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://www.w3.org/2005/08/addressing Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://schemas.xmlsoap.org/ws/2004/08/addressing Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-management (195) [org.apache.cxf.management.InstrumentationManager] Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-wsdl (198) [org.apache.cxf.wsdl.WSDLManager] Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-bindings-xml (200) [org.apache.cxf.binding.xml.XMLBindingFactory, org.apache.cxf.binding.xml.wsdl11.XMLWSDLExtensionLoader] Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-bindings-soap (201) [org.apache.cxf.binding.soap.SoapBindingFactory, org.apache.cxf.binding.soap.SoapTransportFactory] Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/blueprint/bindings/soap Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-transports-http (202) [org.apache.cxf.transport.http.HTTPTransportFactory, org.apache.cxf.transport.http.HTTPWSDLExtensionLoader, org.apache.cxf.transport.http.policy.HTTPClientAssertionBuilder, org.apache.cxf.transport.http.policy.HTTPServerAssertionBuilder, org.apache.cxf.transport.http.policy.NoOpPolicyInterceptorProvider] Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-ws-policy (220) [org.apache.cxf.ws.policy.PolicyEngine, org.apache.cxf.policy.PolicyDataEngine, org.apache.cxf.ws.policy.AssertionBuilderRegistry, org.apache.cxf.ws.policy.PolicyInterceptorProviderRegistry, org.apache.cxf.ws.policy.PolicyBuilder, org.apache.cxf.ws.policy.PolicyAnnotationListener, org.apache.cxf.ws.policy.attachment.ServiceModelPolicyProvider, org.apache.cxf.ws.policy.attachment.external.DomainExpressionBuilderRegistry, org.apache.cxf.ws.policy.attachment.external.EndpointReferenceDomainExpressionBuilder, org.apache.cxf.ws.policy.attachment.external.URIDomainExpressionBuilder, org.apache.cxf.ws.policy.attachment.wsdl11.Wsdl11AttachmentPolicyProvider, org.apache.cxf.ws.policy.mtom.MTOMAssertionBuilder, org.apache.cxf.ws.policy.mtom.MTOMPolicyInterceptorProvider] Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/transports/http/configuration Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/blueprint/simple Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-frontend-jaxws (204) [org.apache.cxf.jaxws.context.WebServiceContextResourceResolver] Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/blueprint/jaxws Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/blueprint/jaxrs Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/blueprint/jaxrs-client Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/binding/coloc Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-transports-local (216) [org.apache.cxf.transport.local.LocalTransportFactory] Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-bindings-object (217) [org.apache.cxf.binding.object.ObjectBindingFactory] Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/blueprint/binding/object Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/policy Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://www.w3.org/ns/ws-policy Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://www.w3.org/2006/07/ws-policy Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://schemas.xmlsoap.org/ws/2004/09/policy Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://docs.oasis-open.org/wss/2004/01/oasis-200401-wss-wssecurity-secext-1.0.xsd Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://docs.oasis-open.org/wss/2004/01/oasis-200401-wss-wssecurity-utility-1.0.xsd Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://www.w3.org/2000/09/xmldsig# Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://docs.oasis-open.org/ws-sx/ws-securitypolicy/200702 Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-ws-addr (237) [org.apache.cxf.ws.addressing.policy.AddressingAssertionBuilder, org.apache.cxf.ws.addressing.policy.UsingAddressingAssertionBuilder, org.apache.cxf.ws.addressing.policy.AddressingPolicyInterceptorProvider, org.apache.cxf.ws.addressing.impl.AddressingWSDLExtensionLoader, org.apache.cxf.ws.addressing.WSAddressingFeature$WSAddressingFeatureApplier, org.apache.cxf.ws.addressing.MAPAggregator$MAPAggregatorLoader] Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/ws/addressing Jul 29, 2019 4:12:01 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-ws-security (239) [org.apache.cxf.ws.security.policy.WSSecurityPolicyLoader, org.apache.cxf.ws.security.cache.CacheCleanupListener] Jul 29, 2019 4:12:01 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-ws-rm (241) [org.apache.cxf.ws.rm.RMManager, org.apache.cxf.ws.rm.policy.RMPolicyInterceptorProvider, org.apache.cxf.ws.rm.policy.RM10AssertionBuilder, org.apache.cxf.ws.rm.policy.RM12AssertionBuilder, org.apache.cxf.ws.rm.policy.WSRMP12PolicyLoader, org.apache.cxf.ws.rm.policy.MC11PolicyLoader, org.apache.cxf.ws.rm.policy.RSPPolicyLoader] Jul 29, 2019 4:12:01 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/ws/rm/manager Jul 29, 2019 4:12:01 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://schemas.xmlsoap.org/ws/2005/02/rm/policy Jul 29, 2019 4:12:01 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-javascript (242) [org.apache.cxf.javascript.JavascriptServerListener] Jul 29, 2019 4:12:01 PM org.pentaho.caching.impl.PentahoCacheManagerFactory$RegistrationHandler$1 onSuccess INFO: New Caching Service registered SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/local/kettle/data-integration/launcher/../lib/slf4j-log4j12-1.7.7.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/usr/local/kettle/data-integration/plugins/pentaho-big-data-plugin/lib/slf4j-log4j12-1.7.7.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] 2019/07/29 16:12:08 - test - Start of job execution log4j:ERROR No output stream or file set for the appender named [pdi-execution-appender]. 2019/07/29 16:12:08 - test - Starting entry [job1] 2019/07/29 16:12:08 - test - Launched job entry [job1] in parallel. 2019/07/29 16:12:08 - test - Starting entry [job2] 2019/07/29 16:12:08 - test - Launched job entry [job2] in parallel. 2019/07/29 16:12:08 - job2 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : Error running job entry 'job' : 2019/07/29 16:12:08 - job1 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : Error running job entry 'job' : 2019/07/29 16:12:08 - job2 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : org.pentaho.di.core.exception.KettleException: 2019/07/29 16:12:08 - job2 - Unexpected error during job metadata load 2019/07/29 16:12:08 - job2 - at java.lang.Thread.run (Thread.java:748) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.Job$1.run (Job.java:798) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.Job.access$000 (Job.java:121) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.Job.execute (Job.java:680) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.execute (JobEntryJob.java:667) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta (JobEntryJob.java:1343) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta (JobEntryJob.java:1381) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMetaFromRepository (JobEntryJob.java:1353) 2019/07/29 16:12:08 - job2 - 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta(JobEntryJob.java:1421) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta(JobEntryJob.java:1343) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.execute(JobEntryJob.java:667) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.Job.execute(Job.java:680) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.Job.access$000(Job.java:121) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.Job$1.run(Job.java:798) 2019/07/29 16:12:08 - job2 - at java.lang.Thread.run(Thread.java:748) 2019/07/29 16:12:08 - job2 - Caused by: java.lang.NullPointerException 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMetaFromRepository(JobEntryJob.java:1353) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta(JobEntryJob.java:1381) 2019/07/29 16:12:08 - job2 - ... 6 more 2019/07/29 16:12:08 - job1 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : org.pentaho.di.core.exception.KettleException: 2019/07/29 16:12:08 - job1 - Unexpected error during job metadata load 2019/07/29 16:12:08 - job1 - at java.lang.Thread.run (Thread.java:748) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.Job$1.run (Job.java:798) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.Job.access$000 (Job.java:121) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.Job.execute (Job.java:680) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.execute (JobEntryJob.java:667) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta (JobEntryJob.java:1343) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta (JobEntryJob.java:1381) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMetaFromRepository (JobEntryJob.java:1353) 2019/07/29 16:12:08 - job1 - 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta(JobEntryJob.java:1421) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta(JobEntryJob.java:1343) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.execute(JobEntryJob.java:667) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.Job.execute(Job.java:680) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.Job.access$000(Job.java:121) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.Job$1.run(Job.java:798) 2019/07/29 16:12:08 - job1 - at java.lang.Thread.run(Thread.java:748) 2019/07/29 16:12:08 - job1 - Caused by: java.lang.NullPointerException 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMetaFromRepository(JobEntryJob.java:1353) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta(JobEntryJob.java:1381) 2019/07/29 16:12:08 - job1 - ... 6 more 2019/07/29 16:12:08 - test - Job execution finished 2019/07/29 16:12:08 - Kitchen - Finished! 2019/07/29 16:12:08 - Kitchen - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : Finished with errors 2019/07/29 16:12:08 - Kitchen - Start=2019/07/29 16:11:36.193, Stop=2019/07/29 16:12:08.071 2019/07/29 16:12:08 - Kitchen - Processing ended after 31 seconds. ``` Linux环境运行作业调用转换的就没问题,作业调用作业的就报错,望大神指点,哪儿有问题。 kettle版本为8.2,jdk版本为 java version "1.8.0_171" 如果需要什么其他的参数,我再上传

使用Kettle 工具将oracle中的表同步到mysql中如何实现?

由于使用navicate做数据迁移 官方说 Navicat version 10 or below, Navicat only support 32-bit instant client. 自己内网又下不了,看到网上有人建议使用Kettle工具做 数据迁移,我照着试了一下,发现如下错误:![图片说明](https://img-ask.csdn.net/upload/201801/25/1516873104_831289.png) 配置如图![图片说明](https://img-ask.csdn.net/upload/201801/26/1516927493_568965.png) ![图片说明](https://img-ask.csdn.net/upload/201801/26/1516927636_963354.png) ![图片说明](https://img-ask.csdn.net/upload/201801/26/1516927648_450574.png) ![图片说明](https://img-ask.csdn.net/upload/201801/26/1516927661_81174.png) 错误 ![图片说明](https://img-ask.csdn.net/upload/201801/26/1516930642_649677.png) ![图片说明](https://img-ask.csdn.net/upload/201801/26/1516930786_221650.png) ![图片说明](https://img-ask.csdn.net/upload/201801/26/1516930664_124733.png) ![图片说明](https://img-ask.csdn.net/upload/201801/26/1516930806_731549.png) 请问该如何实现????

kettle job执行调用问题

刚刚开始学习Kettle,对于一些问题不是很明白。kettle是一种ETL工具,它肯定是为ETL服务的,比如我现在就要根据业务需求对数据进行ETL,忽略其他步骤,只说用kettle对数据进行清洗,那么我肯定会写很多的job,写完了测试也完成了,项目上线了这些job怎么调用或者说执行啊?我现在只会写完一个start一个?主要是这里不明白,求大神解惑!!!http://ask.csdn.net/?ref=toolbar#

有人熟悉怎么使用kettle实现从一个数据源抽取数据到另一个数据库源吗

最近在学习ETL工具Kettle抽取数据,使用Kettle工具抽取 然后在作业里定期执行抽取作业...

关于Kettle连接elasticsearch进行数据迁移的问题

最近在做数据迁移,有几十亿的数据,想用kettle,但是无论如何不能连接elasticsearch, elasticsearch为5.新版本的,网上说有一个 15版本的插件可以支持5.x,但是我尝试 很多次后依然不能成功,现在急需帮助,如果有测试成功的,恳请分享一下经验,谢谢了

kettle从SQL迁移一张表到ORACLE中,大概有120w条数据。

kettle内存溢出,电脑只能改到 set PENTAHO_DI_JAVA_OPTIONS="-Xmx512m" "-XX:MaxPermSize=1024m" 每次导入只能导入900条。 求大神教我详细一点的解决方案。 第一次试用这个软件 , 求大神教

kettle Job日志问题--trans日志和job日志的关联

各位大虾: 我们公司用KETTle工具创建JOB的方式完成数据同步,一个job中很可能有多个转换。现在需要对job的运行做监控:要求数据库中实现运行日志表(我选了资源库,是不是还要自己建立日志表,日志表的表结构怎么定义??),日志分两级—— Job 日志表记录每个转换的名称,开始运行时间,运行状态,报错信息等。每个转换还要有自己的日志来详细记录转换本身的运行状态。

kettle作业中调用转换步骤

https://img-ask.csdn.net/upload/201708/08/1502163594_805478.png 请教下大神,kettle中作业调用转换什么时候用,使用有什么前置条件,谢谢!

kettle job中是否可以输出错误日志到文件中?

想将job中错误日志输出到.txt文件,应该怎么做? ![图片说明](https://img-ask.csdn.net/upload/201811/22/1542872916_44350.png)

kettle导数据表报错,求大神给解决

如标题所示,在学习数据迁移工具kettle,遇到问题,不会解决,求大神相助

怎么使用kettle进行增量数据的抽取?

场景介绍: 我要从Oracle库中把Oracle_A表中的数据同步到DB2库中的DB2_A表中,使用kettle。 现在我有多张表需要同步,有的表有数据加载时间字段,有的没有数据加载时间字段。 请教各位大佬应该怎么实现?希望各位大佬不吝赐教!跪谢! (百度上也能搜到不少,不过细节挺少的,也许是我水平不够吧)

kettle从一张表抽取数据分别插入到多张表中

![图片说明](https://img-ask.csdn.net/upload/201806/20/1529480744_999276.jpg) 讲师表中需要生成UUID,中间表要存放这两张表的关联关系并且生成UUID 这个该怎么做,跪求指导!!!

开发kettle插件,可以找到Mysql数据库中的表,但无法将数据插入。

在kettle二次开发时基于java,已经可以找到表中的各个列名,在运行转换时无法将数据插入。

kettle作业中的运行结果怎样输出

请教下,各位大神,kettle作业流程中的节点运行怎么输出!

kettle循环执行job内存溢出

循环分页查询一天的数据,每页1000条,1000个ID拼成串并设置为变量,供后边查询使用,kettle版本7.1,尝试过调大内存,还是不行。也会触发gc,但是经历新生代后进入老年代,直到撑爆堆内存,jdk版本1.8

Kettle数据迁移MySQL连接关闭导致失败?

使用的是kettle8.2,数据迁移用的是表输入-表输出,然后数据量现在到了200多万条后报错了,错误信息如下 2019/09/13 02:20:42 - 表输入.0 - linenr 2050000 2019/09/13 02:20:47 - 表输出.0 - linenr 2050000 2019/09/13 02:21:06 - 表输入.0 - linenr 2100000 2019/09/13 02:21:11 - 表输出.0 - linenr 2100000 2019/09/13 02:22:43 - 表输出.0 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : Because of an error, this step can't continue: 2019/09/13 02:22:43 - 表输出.0 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseException: 2019/09/13 02:22:43 - 表输出.0 - Unable to clear batch for prepared statement 2019/09/13 02:22:43 - 表输出.0 - No operations allowed after statement closed. 2019/09/13 02:22:43 - 表输出.0 - 2019/09/13 02:22:43 - 表输出.0 - at org.pentaho.di.core.database.Database.clearBatch(Database.java:1342) 2019/09/13 02:22:43 - 表输出.0 - at org.pentaho.di.trans.steps.tableoutput.TableOutput.writeToTable(TableOutput.java:337) 2019/09/13 02:22:43 - 表输出.0 - at org.pentaho.di.trans.steps.tableoutput.TableOutput.processRow(TableOutput.java:125) 2019/09/13 02:22:43 - 表输出.0 - at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62) 2019/09/13 02:22:43 - 表输出.0 - at java.lang.Thread.run(Thread.java:745) 2019/09/13 02:22:43 - 表输出.0 - Caused by: java.sql.SQLException: No operations allowed after statement closed. 2019/09/13 02:22:43 - 表输出.0 - at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:959) 2019/09/13 02:22:43 - 表输出.0 - at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:898) 2019/09/13 02:22:43 - 表输出.0 - at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:887) 2019/09/13 02:22:43 - 表输出.0 - at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:862) 2019/09/13 02:22:43 - 表输出.0 - at com.mysql.jdbc.StatementImpl.checkClosed(StatementImpl.java:438) 2019/09/13 02:22:43 - 表输出.0 - at com.mysql.jdbc.PreparedStatement.clearBatch(PreparedStatement.java:1007) 2019/09/13 02:22:43 - 表输出.0 - at org.pentaho.di.core.database.Database.clearBatch(Database.java:1340) 2019/09/13 02:22:43 - 表输出.0 - ... 4 more 2019/09/13 02:22:43 - 表输入.0 - Finished reading query, closing connection. 2019/09/13 02:22:43 - 表输出.0 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : Unexpected batch update error committing the database connection. 开始时间是 02:04,跑了大概18分钟后报错,但是什么都不修改重新启动就跑成功了,什么情况报错还没搞清楚。 是服务端把我的连接关闭了吗? MySQL加testOnBorrow和testOnReturn暂时不允许加,要怎么修改呢?有没有用过kettle连接池的,能解决吗?

kettle在执行插入更新时写入了重复数据

现在我有一个JOB,用于同步一个表的数据,在执行插入和更新的时候出现了同步数据, 大神们求帮助,转换与JOB设置如下 ![转换](https://img-ask.csdn.net/upload/201709/07/1504751041_343521.png) ![获取最大执行时间](https://img-ask.csdn.net/upload/201709/07/1504751079_289311.png) ![获取新数据](https://img-ask.csdn.net/upload/201709/07/1504751121_397862.png) ![新数据写入](https://img-ask.csdn.net/upload/201709/07/1504751143_167430.png) ![job](https://img-ask.csdn.net/upload/201709/07/1504751214_92479.png) ![定时设置](https://img-ask.csdn.net/upload/201709/07/1504751260_390509.png) ![转换设置](https://img-ask.csdn.net/upload/201709/07/1504751295_532624.png) ![重复数据](https://img-ask.csdn.net/upload/201709/07/1504751361_504225.png) 我用来查询的关键字是advinceid,exec_date,executer这三个字段,为什么写入的数据有重复的呢?数据表中id字段是 自增长

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

程序员请照顾好自己,周末病魔差点一套带走我。

程序员在一个周末的时间,得了重病,差点当场去世,还好及时挽救回来了。

Java基础知识面试题(2020最新版)

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性?原理是什么Java语言有哪些特点什么是字节码?采用字节码的最大好处是什么什么是Java程序的主类?应用程序和小程序的主类有何不同?Java应用程序与小程序之间有那些差别?Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

Intellij IDEA 实用插件安利

1. 前言从2020 年 JVM 生态报告解读 可以看出Intellij IDEA 目前已经稳坐 Java IDE 头把交椅。而且统计得出付费用户已经超过了八成(国外统计)。IDEA 的...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

总结了 150 余个神奇网站,你不来瞅瞅吗?

原博客再更新,可能就没了,之后将持续更新本篇博客。

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

魂迁光刻,梦绕芯片,中芯国际终获ASML大型光刻机

据羊城晚报报道,近日中芯国际从荷兰进口的一台大型光刻机,顺利通过深圳出口加工区场站两道闸口进入厂区,中芯国际发表公告称该光刻机并非此前盛传的EUV光刻机,主要用于企业复工复产后的生产线扩容。 我们知道EUV主要用于7nm及以下制程的芯片制造,光刻机作为集成电路制造中最关键的设备,对芯片制作工艺有着决定性的影响,被誉为“超精密制造技术皇冠上的明珠”,根据之前中芯国际的公报,目...

优雅的替换if-else语句

场景 日常开发,if-else语句写的不少吧??当逻辑分支非常多的时候,if-else套了一层又一层,虽然业务功能倒是实现了,但是看起来是真的很不优雅,尤其是对于我这种有强迫症的程序"猿",看到这么多if-else,脑袋瓜子就嗡嗡的,总想着解锁新姿势:干掉过多的if-else!!!本文将介绍三板斧手段: 优先判断条件,条件不满足的,逻辑及时中断返回; 采用策略模式+工厂模式; 结合注解,锦...

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

2020阿里全球数学大赛:3万名高手、4道题、2天2夜未交卷

阿里巴巴全球数学竞赛( Alibaba Global Mathematics Competition)由马云发起,由中国科学技术协会、阿里巴巴基金会、阿里巴巴达摩院共同举办。大赛不设报名门槛,全世界爱好数学的人都可参与,不论是否出身数学专业、是否投身数学研究。 2020年阿里巴巴达摩院邀请北京大学、剑桥大学、浙江大学等高校的顶尖数学教师组建了出题组。中科院院士、美国艺术与科学院院士、北京国际数学...

为什么你不想学习?只想玩?人是如何一步一步废掉的

不知道是不是只有我这样子,还是你们也有过类似的经历。 上学的时候总有很多光辉历史,学年名列前茅,或者单科目大佬,但是虽然慢慢地长大了,你开始懈怠了,开始废掉了。。。 什么?你说不知道具体的情况是怎么样的? 我来告诉你: 你常常潜意识里或者心理觉得,自己真正的生活或者奋斗还没有开始。总是幻想着自己还拥有大把时间,还有无限的可能,自己还能逆风翻盘,只不是自己还没开始罢了,自己以后肯定会变得特别厉害...

男生更看重女生的身材脸蛋,还是思想?

往往,我们看不进去大段大段的逻辑。深刻的哲理,往往短而精悍,一阵见血。问:产品经理挺漂亮的,有点心动,但不知道合不合得来。男生更看重女生的身材脸蛋,还是...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试:第十六章:Java中级开发

HashMap底层实现原理,红黑树,B+树,B树的结构原理 Spring的AOP和IOC是什么?它们常见的使用场景有哪些?Spring事务,事务的属性,传播行为,数据库隔离级别 Spring和SpringMVC,MyBatis以及SpringBoot的注解分别有哪些?SpringMVC的工作原理,SpringBoot框架的优点,MyBatis框架的优点 SpringCould组件有哪些,他们...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

Python爬虫,高清美图我全都要(彼岸桌面壁纸)

爬取彼岸桌面网站较为简单,用到了requests、lxml、Beautiful Soup4

差点跪了...

最近微信又搞出了一个大利器,甚至都上了热搜,当然消息最敏捷的自媒体人,纷纷都开通了自己的视频号。01 视频号是什么呢?视频号是微信体系内的短视频,它不同...

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

Vue回炉重造之router路由(更新中)

你好,我是Vam的金豆之路,可以叫我豆哥。2019年年度博客之星、技术领域博客专家。主要领域:前端开发。我的微信是 maomin9761,有什么疑问可以加我哦,自己创建了一个微信技术交流群,可以加我邀请你一起交流学习。最后自己也创建了一个微信公众号,里面的文章是我自己精挑细选的文章,主要介绍各种IT新技术。欢迎关注哦,微信搜索:臻美IT,等你来。 欢迎阅读本博文,本博文主要讲述【】,文字通...

大三实习生,字节跳动面经分享,已拿Offer

说实话,自己的算法,我一个不会,太难了吧

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

Java岗开发3年,公司临时抽查算法,离职后这几题我记一辈子

前几天我们公司做了一件蠢事,非常非常愚蠢的事情。我原以为从学校出来之后,除了找工作有测试外,不会有任何与考试有关的事儿。 但是,天有不测风云,公司技术总监、人事总监两位大佬突然降临到我们事业线,叫上我老大,给我们组织了一场别开生面的“考试”。 那是一个风和日丽的下午,我翘着二郎腿,左手端着一杯卡布奇诺,右手抓着我的罗技鼠标,滚动着轮轴,穿梭在头条热点之间。 “淡黄的长裙~蓬松的头发...

大胆预测下未来5年的Web开发

在2019年的ReactiveConf 上,《Elm in Action》的作者Richard Feldman对未来5年Web开发的发展做了预测,很有意思,分享给大家。如果你有机会从头...

立即提问
相关内容推荐