kettle Job日志问题--trans日志和job日志的关联

各位大虾:
我们公司用KETTle工具创建JOB的方式完成数据同步,一个job中很可能有多个转换。现在需要对job的运行做监控:要求数据库中实现运行日志表(我选了资源库,是不是还要自己建立日志表,日志表的表结构怎么定义??),日志分两级——
Job 日志表记录每个转换的名称,开始运行时间,运行状态,报错信息等。每个转换还要有自己的日志来详细记录转换本身的运行状态。

3个回答

图片说明
注意最下方中间的sql 要点击,生成语句后 点击执行按钮

trans日志和job日志的关联解决了吗?

trans日志和job日志的关联解决了吗?

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
linux 下 kettle Job 日志文件问题

启动脚本是 ``` /opt/kettle/data-integration/kitchen.sh -file=/opt/kettle/Job/syncToGreenCloud.kjb -level=basic >> /opt/kettle/rLog/syn_$(date +%Y%m%d).log & ``` JOB是每10分钟执行一次,日志的时间没有变过,永远在一个日志文件中,文件越来越大,占用资源。 如何能够将每次定时开启之前的日志清空。

kettle job执行调用问题

刚刚开始学习Kettle,对于一些问题不是很明白。kettle是一种ETL工具,它肯定是为ETL服务的,比如我现在就要根据业务需求对数据进行ETL,忽略其他步骤,只说用kettle对数据进行清洗,那么我肯定会写很多的job,写完了测试也完成了,项目上线了这些job怎么调用或者说执行啊?我现在只会写完一个start一个?主要是这里不明白,求大神解惑!!!http://ask.csdn.net/?ref=toolbar#

kettle job中是否可以输出错误日志到文件中?

想将job中错误日志输出到.txt文件,应该怎么做? ![图片说明](https://img-ask.csdn.net/upload/201811/22/1542872916_44350.png)

kettle 日志保存到数据库r_log

我的项目中整合kettle,在执行任务,记录日志,对于日志。有些疑惑。 kettle的日志记录在文件中。 kettle数据库中创建资源库时创建了r_log表。 但发现执行job后,r_log 表里面并没有日志。 以上是我的猜想,r_log表应该是记录日志的。但我的资源库r_log表中并没有记录。 我想请教大家,r_log表,是否因为我的配置不完全导致,没有数据。 或者r_log表是其它用途。 请熟悉的kettle的给予我解答,谢谢!

kettle Job调用转换问题

![图片说明](https://img-ask.csdn.net/upload/201903/31/1554034983_886203.png) 图中的转换中已经测试过没有问题,可以同步数据,但是将这个转换放到job中 执行job,不到1秒就执行完成,但是查看库中数据,起始并没有执行这个转换,似乎知识界面上显示成功而已,请问这个怎么回事

xxl-job 调用shell 问题

xxl-job 调用shell脚本,传参数如下param ----------- Param:29.157.17.108 bms 16063 Ce_Sh1.Pa2s_mydb bmsdb /data/dcos/nas/ 2020-03-13 19:08:42 [com.xxl.job.core.handler.impl.ScriptJobHandler#execute]-[81]-[Thread-17] ----------- script file:./logs/jobhandler/gluesource/39_1584096791000.sh ----------- xxl-job: hello shell 参数数量=3 param="29.157.17.108 param=bms param=16063 param=Ce_Sh1.Pa2s_mydb param=bmsdb param=/data/dcos/nas/" param=0 param=1 最后打印的参数显示 多出来 param=1 和param =0 的请问怎么来的。

kettle执行job成功,Java执行kettle报错,求大神指导

[INFO,DoKettleService,http-bio-8080-exec-5] 执行kettle开始 [INFO,StandardFileSystemManager,http-bio-8080-exec-5] Using "C:\Users\ADMINI~1\AppData\Local\Temp\vfs_cache" as temporary files store. 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - 开始执行任务 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - 开始项[数据追溯] 2017/03/27 09:28:11 - cetl_001 - ERROR (version 1.0.0, build 1 from 2015-07-31 09.59.35 by chenrh) : 一个数据库错误发生在从资源库文件读取转换时 2017/03/27 09:28:11 - cetl_001 - org.pentaho.di.core.exception.KettlePluginLoaderException: 2017/03/27 09:28:11 - cetl_001 - Unable to load class for step/plugin with id [trace 2017/03/27 09:28:11 - cetl_001 - ]. Check if the plugin is available in the plugins subdirectory of the Kettle distribution. 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - ERROR (version 1.0.0, build 1 from 2015-07-31 09.59.35 by chenrh) : org.pentaho.di.core.exception.KettleException: 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - Unexpected error during transformation metadata load 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - 一个数据库错误发生在从资源库文件读取转换时 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - Unable to load class for step/plugin with id [trace 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - ]. Check if the plugin is available in the plugins subdirectory of the Kettle distribution. 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.pentaho.di.job.entries.trans.JobEntryTrans.getTransMeta(JobEntryTrans.java:1208) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.pentaho.di.job.entries.trans.JobEntryTrans.execute(JobEntryTrans.java:648) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.pentaho.di.job.Job.execute(Job.java:716) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.pentaho.di.job.Job.execute(Job.java:859) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.pentaho.di.job.Job.execute(Job.java:532) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.pentaho.di.job.Job.run(Job.java:424) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at com.wa.framework.quartz.service.DoKettleService.runJob(DoKettleService.java:52) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at com.wa.framework.quartz.service.DoKettleService$$FastClassBySpringCGLIB$$8a4f9c12.invoke(<generated>) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:204) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.invokeJoinpoint(CglibAopProxy.java:708) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:157) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.transaction.interceptor.TransactionInterceptor$1.proceedWithInvocation(TransactionInterceptor.java:98) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:262) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:95) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:179) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.aop.interceptor.ExposeInvocationInterceptor.invoke(ExposeInvocationInterceptor.java:92) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:179) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:644) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at com.wa.framework.quartz.service.DoKettleService$$EnhancerBySpringCGLIB$$3cedfde9.runJob(<generated>) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at com.udatech.common.taskManage.controller.CollectionTaskController.testDs(CollectionTaskController.java:310) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at java.lang.reflect.Method.invoke(Method.java:483) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.web.method.support.InvocableHandlerMethod.invoke(InvocableHandlerMethod.java:215) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.web.method.support.InvocableHandlerMethod.invokeForRequest(InvocableHandlerMethod.java:132) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.web.servlet.mvc.method.annotation.ServletInvocableHandlerMethod.invokeAndHandle(ServletInvocableHandlerMethod.java:104) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.invokeHandleMethod(RequestMappingHandlerAdapter.java:749) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.web.servlet.mvc.method.annotation.RequestMappingHandlerAdapter.handleInternal(RequestMappingHandlerAdapter.java:689) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.web.servlet.mvc.method.AbstractHandlerMethodAdapter.handle(AbstractHandlerMethodAdapter.java:83) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:938) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:870) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:961) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.web.servlet.FrameworkServlet.doGet(FrameworkServlet.java:852) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at javax.servlet.http.HttpServlet.service(HttpServlet.java:621) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.web.servlet.FrameworkServlet.service(FrameworkServlet.java:837) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at javax.servlet.http.HttpServlet.service(HttpServlet.java:728) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:305) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at com.wa.framework.log.AccessLogFilter.doFilter(AccessLogFilter.java:121) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:243) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.orm.hibernate3.support.OpenSessionInViewFilter.doFilterInternal(OpenSessionInViewFilter.java:230) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:243) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at com.wa.framework.security.XssAndSqlFilter.doFilter(XssAndSqlFilter.java:43) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:243) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at com.wa.framework.filter.SecurityFilter.doFilter(SecurityFilter.java:106) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:243) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:88) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:107) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:243) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:210) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:222) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:123) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.authenticator.AuthenticatorBase.invoke(AuthenticatorBase.java:472) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:171) 2017/03/27 09:28:11 - JOB_GLOBAL_RUN - at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:99)

求助:kettle连接cdh510-hbase报错问题

最近在用hbase与oracle的数据搬运工作,之前一直用sqoop,最近用kettle在做这个事情,在windows,os环境测试一切正常,包括客户端直接跑Job,和生成ktr脚本去跑,都没问题,但是我把生成的.ktr文件拿到ubuntu跑,就报错 org.pentaho.di.core.exception.KettleException: Unable to obtain a connection to HBase: null 如下图 ![图片说明](https://img-ask.csdn.net/upload/201707/12/1499870023_502959.png)

kettle的JOB互相嵌套的作业,在windows上正常运行,迁移到Linux服务器就报错了

windows系统运行正常: ![图片说明](https://img-ask.csdn.net/upload/201907/29/1564389024_347344.png) Linux系统下运行报错: ``` /usr/local/kettle/data-integration/spoon.sh: line 140: ldconfig: command not found ####################################################################### WARNING: no libwebkitgtk-1.0 detected, some features will be unavailable Consider installing the package with apt-get or yum. e.g. 'sudo apt-get install libwebkitgtk-1.0-0' ####################################################################### Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=256m; support was removed in 8.0 log4j:WARN Continuable parsing error 45 and column 76 log4j:WARN Element type "rollingPolicy" must be declared. log4j:WARN Continuable parsing error 52 and column 14 log4j:WARN The content of element type "appender" must match "(errorHandler?,param*,layout?,filter*,appender-ref*)". log4j:WARN Please set a rolling policy for the RollingFileAppender named 'pdi-execution-appender' 16:11:29,469 INFO [KarafBoot] Checking to see if org.pentaho.clean.karaf.cache is enabled 16:11:29,646 INFO [KarafInstance] ******************************************************************************* *** Karaf Instance Number: 1 at /usr/local/kettle/data-integration/./system *** *** /karaf/caches/kitchen/data-1 *** *** FastBin Provider Port:52901 *** *** Karaf Port:8802 *** *** OSGI Service Port:9051 *** ******************************************************************************* Jul 29, 2019 4:11:32 PM org.apache.karaf.main.Main$KarafLockCallback lockAquired INFO: Lock acquired. Setting startlevel to 100 2019/07/29 16:11:36 - Kitchen - Start of run. 2019/07/29 16:11:36 - RepositoriesMeta - Reading repositories XML file: /usr/local/kettle/.kettle/repositories.xml 2019-07-29 16:11:53.034:INFO:oejs.Server:jetty-8.1.15.v20140411 2019-07-29 16:11:53.106:INFO:oejs.AbstractConnector:Started NIOSocketConnectorWrapper@0.0.0.0:9051 Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/blueprint/core Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/configuration/beans Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/configuration/parameterized-types Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/configuration/security Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://schemas.xmlsoap.org/wsdl/ Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://www.w3.org/2005/08/addressing Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://schemas.xmlsoap.org/ws/2004/08/addressing Jul 29, 2019 4:11:58 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-management (195) [org.apache.cxf.management.InstrumentationManager] Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-wsdl (198) [org.apache.cxf.wsdl.WSDLManager] Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-bindings-xml (200) [org.apache.cxf.binding.xml.XMLBindingFactory, org.apache.cxf.binding.xml.wsdl11.XMLWSDLExtensionLoader] Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-bindings-soap (201) [org.apache.cxf.binding.soap.SoapBindingFactory, org.apache.cxf.binding.soap.SoapTransportFactory] Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/blueprint/bindings/soap Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-transports-http (202) [org.apache.cxf.transport.http.HTTPTransportFactory, org.apache.cxf.transport.http.HTTPWSDLExtensionLoader, org.apache.cxf.transport.http.policy.HTTPClientAssertionBuilder, org.apache.cxf.transport.http.policy.HTTPServerAssertionBuilder, org.apache.cxf.transport.http.policy.NoOpPolicyInterceptorProvider] Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-ws-policy (220) [org.apache.cxf.ws.policy.PolicyEngine, org.apache.cxf.policy.PolicyDataEngine, org.apache.cxf.ws.policy.AssertionBuilderRegistry, org.apache.cxf.ws.policy.PolicyInterceptorProviderRegistry, org.apache.cxf.ws.policy.PolicyBuilder, org.apache.cxf.ws.policy.PolicyAnnotationListener, org.apache.cxf.ws.policy.attachment.ServiceModelPolicyProvider, org.apache.cxf.ws.policy.attachment.external.DomainExpressionBuilderRegistry, org.apache.cxf.ws.policy.attachment.external.EndpointReferenceDomainExpressionBuilder, org.apache.cxf.ws.policy.attachment.external.URIDomainExpressionBuilder, org.apache.cxf.ws.policy.attachment.wsdl11.Wsdl11AttachmentPolicyProvider, org.apache.cxf.ws.policy.mtom.MTOMAssertionBuilder, org.apache.cxf.ws.policy.mtom.MTOMPolicyInterceptorProvider] Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/transports/http/configuration Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/blueprint/simple Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-frontend-jaxws (204) [org.apache.cxf.jaxws.context.WebServiceContextResourceResolver] Jul 29, 2019 4:11:59 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/blueprint/jaxws Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/blueprint/jaxrs Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/blueprint/jaxrs-client Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/binding/coloc Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-transports-local (216) [org.apache.cxf.transport.local.LocalTransportFactory] Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-bindings-object (217) [org.apache.cxf.binding.object.ObjectBindingFactory] Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/blueprint/binding/object Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/policy Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://www.w3.org/ns/ws-policy Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://www.w3.org/2006/07/ws-policy Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://schemas.xmlsoap.org/ws/2004/09/policy Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://docs.oasis-open.org/wss/2004/01/oasis-200401-wss-wssecurity-secext-1.0.xsd Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://docs.oasis-open.org/wss/2004/01/oasis-200401-wss-wssecurity-utility-1.0.xsd Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://www.w3.org/2000/09/xmldsig# Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://docs.oasis-open.org/ws-sx/ws-securitypolicy/200702 Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-ws-addr (237) [org.apache.cxf.ws.addressing.policy.AddressingAssertionBuilder, org.apache.cxf.ws.addressing.policy.UsingAddressingAssertionBuilder, org.apache.cxf.ws.addressing.policy.AddressingPolicyInterceptorProvider, org.apache.cxf.ws.addressing.impl.AddressingWSDLExtensionLoader, org.apache.cxf.ws.addressing.WSAddressingFeature$WSAddressingFeatureApplier, org.apache.cxf.ws.addressing.MAPAggregator$MAPAggregatorLoader] Jul 29, 2019 4:12:00 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/ws/addressing Jul 29, 2019 4:12:01 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-ws-security (239) [org.apache.cxf.ws.security.policy.WSSecurityPolicyLoader, org.apache.cxf.ws.security.cache.CacheCleanupListener] Jul 29, 2019 4:12:01 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-ws-rm (241) [org.apache.cxf.ws.rm.RMManager, org.apache.cxf.ws.rm.policy.RMPolicyInterceptorProvider, org.apache.cxf.ws.rm.policy.RM10AssertionBuilder, org.apache.cxf.ws.rm.policy.RM12AssertionBuilder, org.apache.cxf.ws.rm.policy.WSRMP12PolicyLoader, org.apache.cxf.ws.rm.policy.MC11PolicyLoader, org.apache.cxf.ws.rm.policy.RSPPolicyLoader] Jul 29, 2019 4:12:01 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://cxf.apache.org/ws/rm/manager Jul 29, 2019 4:12:01 PM org.apache.cxf.bus.blueprint.NamespaceHandlerRegisterer register INFO: Registered blueprint namespace handler for http://schemas.xmlsoap.org/ws/2005/02/rm/policy Jul 29, 2019 4:12:01 PM org.apache.cxf.bus.osgi.CXFExtensionBundleListener addExtensions INFO: Adding the extensions from bundle org.apache.cxf.cxf-rt-javascript (242) [org.apache.cxf.javascript.JavascriptServerListener] Jul 29, 2019 4:12:01 PM org.pentaho.caching.impl.PentahoCacheManagerFactory$RegistrationHandler$1 onSuccess INFO: New Caching Service registered SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/usr/local/kettle/data-integration/launcher/../lib/slf4j-log4j12-1.7.7.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/usr/local/kettle/data-integration/plugins/pentaho-big-data-plugin/lib/slf4j-log4j12-1.7.7.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] 2019/07/29 16:12:08 - test - Start of job execution log4j:ERROR No output stream or file set for the appender named [pdi-execution-appender]. 2019/07/29 16:12:08 - test - Starting entry [job1] 2019/07/29 16:12:08 - test - Launched job entry [job1] in parallel. 2019/07/29 16:12:08 - test - Starting entry [job2] 2019/07/29 16:12:08 - test - Launched job entry [job2] in parallel. 2019/07/29 16:12:08 - job2 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : Error running job entry 'job' : 2019/07/29 16:12:08 - job1 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : Error running job entry 'job' : 2019/07/29 16:12:08 - job2 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : org.pentaho.di.core.exception.KettleException: 2019/07/29 16:12:08 - job2 - Unexpected error during job metadata load 2019/07/29 16:12:08 - job2 - at java.lang.Thread.run (Thread.java:748) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.Job$1.run (Job.java:798) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.Job.access$000 (Job.java:121) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.Job.execute (Job.java:680) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.execute (JobEntryJob.java:667) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta (JobEntryJob.java:1343) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta (JobEntryJob.java:1381) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMetaFromRepository (JobEntryJob.java:1353) 2019/07/29 16:12:08 - job2 - 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta(JobEntryJob.java:1421) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta(JobEntryJob.java:1343) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.execute(JobEntryJob.java:667) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.Job.execute(Job.java:680) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.Job.access$000(Job.java:121) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.Job$1.run(Job.java:798) 2019/07/29 16:12:08 - job2 - at java.lang.Thread.run(Thread.java:748) 2019/07/29 16:12:08 - job2 - Caused by: java.lang.NullPointerException 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMetaFromRepository(JobEntryJob.java:1353) 2019/07/29 16:12:08 - job2 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta(JobEntryJob.java:1381) 2019/07/29 16:12:08 - job2 - ... 6 more 2019/07/29 16:12:08 - job1 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : org.pentaho.di.core.exception.KettleException: 2019/07/29 16:12:08 - job1 - Unexpected error during job metadata load 2019/07/29 16:12:08 - job1 - at java.lang.Thread.run (Thread.java:748) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.Job$1.run (Job.java:798) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.Job.access$000 (Job.java:121) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.Job.execute (Job.java:680) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.execute (JobEntryJob.java:667) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta (JobEntryJob.java:1343) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta (JobEntryJob.java:1381) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMetaFromRepository (JobEntryJob.java:1353) 2019/07/29 16:12:08 - job1 - 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta(JobEntryJob.java:1421) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta(JobEntryJob.java:1343) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.execute(JobEntryJob.java:667) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.Job.execute(Job.java:680) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.Job.access$000(Job.java:121) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.Job$1.run(Job.java:798) 2019/07/29 16:12:08 - job1 - at java.lang.Thread.run(Thread.java:748) 2019/07/29 16:12:08 - job1 - Caused by: java.lang.NullPointerException 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMetaFromRepository(JobEntryJob.java:1353) 2019/07/29 16:12:08 - job1 - at org.pentaho.di.job.entries.job.JobEntryJob.getJobMeta(JobEntryJob.java:1381) 2019/07/29 16:12:08 - job1 - ... 6 more 2019/07/29 16:12:08 - test - Job execution finished 2019/07/29 16:12:08 - Kitchen - Finished! 2019/07/29 16:12:08 - Kitchen - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : Finished with errors 2019/07/29 16:12:08 - Kitchen - Start=2019/07/29 16:11:36.193, Stop=2019/07/29 16:12:08.071 2019/07/29 16:12:08 - Kitchen - Processing ended after 31 seconds. ``` Linux环境运行作业调用转换的就没问题,作业调用作业的就报错,望大神指点,哪儿有问题。 kettle版本为8.2,jdk版本为 java version "1.8.0_171" 如果需要什么其他的参数,我再上传

kettle 启动时间的问题

大神们好, 我查了昨天的kettle运行日志,发现 INFO 17-08 02:10:17-Repositoriesmeta-Reading repositories XML file:/wls/kettle/.kettle/repositories.xml INFO 17-08 02:36:35 -XXX-Start of job execution 为什么会等那么长时间才启动呢?请大神们指教,可能是什么原因造成的。谢谢!

kettle循环执行job内存溢出

循环分页查询一天的数据,每页1000条,1000个ID拼成串并设置为变量,供后边查询使用,kettle版本7.1,尝试过调大内存,还是不行。也会触发gc,但是经历新生代后进入老年代,直到撑爆堆内存,jdk版本1.8

kettle源码搭建好后怎么和big-data-plugin相结合

kettle源码搭建好后怎么和big-data-plugin相结合

kettle安装pdi-ce-6.1.0.1-196.zip时启动没有响应!!

![图片说明](https://img-ask.csdn.net/upload/201607/20/1468995208_368935.png) 配置完JDK和PENTAHO_JAVA_HOME系统变量后,在windows上启动Spoon.bat。出现以上图片情况,既没有报错也没有继续执行。

kettle输出报错-4229,哪位大神能帮忙看看

2017/11/19 13:04:56 - 表输出.0 - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : Unexpected batch update error committing the database connection. 2017/11/19 13:04:56 - 表输出.0 - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseBatchException: 2017/11/19 13:04:56 - 表输出.0 - Error updating batch 2017/11/19 13:04:56 - 表输出.0 - [jcc][t4][102][10040][4.19.66] 批处理出现故障。虽然已经提交了批处理,但是该批处理的某个成员至少发生了一个异常。 2017/11/19 13:04:56 - 表输出.0 - 使用 getNextException() 来检索已经过批处理的特定元素的异常。 ERRORCODE=-4229, SQLSTATE=null 2017/11/19 13:04:56 - 表输出.0 - 2017/11/19 13:04:56 - 表输出.0 - at org.pentaho.di.core.database.Database.createKettleDatabaseBatchException(Database.java:1365) 2017/11/19 13:04:56 - 表输出.0 - at org.pentaho.di.core.database.Database.emptyAndCommit(Database.java:1354) 2017/11/19 13:04:56 - 表输出.0 - at org.pentaho.di.trans.steps.tableoutput.TableOutput.dispose(TableOutput.java:571) 2017/11/19 13:04:56 - 表输出.0 - at org.pentaho.di.trans.step.RunThread.run(RunThread.java:96) 2017/11/19 13:04:56 - 表输出.0 - at java.lang.Thread.run(Thread.java:745) 2017/11/19 13:04:56 - 表输出.0 - Caused by: com.ibm.db2.jcc.am.BatchUpdateException: [jcc][t4][102][10040][4.19.66] 批处理出现故障。虽然已经提交了批处理,但是该批处理的某个成员至少发生了一个异常。 2017/11/19 13:04:56 - 表输出.0 - 使用 getNextException() 来检索已经过批处理的特定元素的异常。 ERRORCODE=-4229, SQLSTATE=null 2017/11/19 13:04:56 - 表输出.0 - at com.ibm.db2.jcc.am.kd.a(kd.java:475) 2017/11/19 13:04:56 - 表输出.0 - at com.ibm.db2.jcc.am.Agent.endBatchedReadChain(Agent.java:414) 2017/11/19 13:04:56 - 表输出.0 - at com.ibm.db2.jcc.am.gp.a(gp.java:5342) 2017/11/19 13:04:56 - 表输出.0 - at com.ibm.db2.jcc.am.gp.c(gp.java:4929) 2017/11/19 13:04:56 - 表输出.0 - at com.ibm.db2.jcc.am.gp.executeBatch(gp.java:3045) 2017/11/19 13:04:56 - 表输出.0 - at org.pentaho.di.core.database.Database.emptyAndCommit(Database.java:1341) 2017/11/19 13:04:56 - 表输出.0 - ... 3 more 2017/11/19 13:04:57 - 表输出.0 - 完成处理 (I=0, O=0, R=153, W=0, U=0, E=1 2017/11/19 13:04:57 - mtrl_sum - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : 错误被检测到! 2017/11/19 13:04:57 - Spoon - 转换完成!! 2017/11/19 13:04:57 - mtrl_sum - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : 错误被检测到! 2017/11/19 13:04:57 - mtrl_sum - ERROR (version 5.1.0.0, build 1 from 2014-06-19_19-02-57 by buildguy) : 错误被检测到!

kettle作业中的运行结果怎样输出

请教下,各位大神,kettle作业流程中的节点运行怎么输出!

kettle连接MYSQL数据库问题

![图片说明](https://img-ask.csdn.net/upload/201909/24/1569314912_453856.png)![图片说明](https://img-ask.csdn.net/upload/201909/24/1569314922_599953.png) mysql的驱动放到kettle安装文件中的lib下,连不上一直报错,折腾一下午了 求大佬来看看呀!

kettle作业中调用转换步骤

https://img-ask.csdn.net/upload/201708/08/1502163594_805478.png 请教下大神,kettle中作业调用转换什么时候用,使用有什么前置条件,谢谢!

利用kettle工具做数据迁移,如何做到作业job中的数据库连接通配所有数据库

kettle里面的job如果本来是连接的sqlserver,有什么方法能改成mysql吗?场景是:如果做了一版源数据库 sqlserver 迁移到目标数据库 mysql ,现在有新需要 源数据 mysql 迁移到目标数据库mysql。可不可以通过配置,让sqlserver 迁移到 mysql 的这个版本去适配

kettle如何用命令行导出zip文件

导出时提示不能将XML文件导出成ZIP文件,我操作的时候是将资源库(根目录下/HOME/TEST)中的文件文件在图形界面下通过另存为(VFS)保存在本地,提示报下面的错,但是如果我直接在资源库中保存的时候,在操作kitchen /file:/home/test/test.kjb /export:d:/test.zip 又提示Unable to read file [file:///D:/home/test/test.kjb] Could not read from "file:///D:/home/test/test.kjb" because it is a not a file. ERROR: Kitchen can't continue because the job couldn't be loaded. 然后将资源库的导出XML时又报下面这个错,请问如何导出呢?这个资源库目录下的文件时存在什么地方呢? D:\software\pdi-ee-client-4.4.2-GA\data-integration>kitchen /file:/kettle_tmp/ test.kjb /export:d:/test.zip DEBUG: Using JAVA_HOME DEBUG: _PENTAHO_JAVA_HOME=C:\Oracle\Middleware\jdk160_14_R27.6.5-32 DEBUG: _PENTAHO_JAVA=C:\Oracle\Middleware\jdk160_14_R27.6.5-32\bin\java.exe DEBUG: PENTAHO_INSTALLED_LICENSE_PATH= WARN 13-09 10:43:02,390 - Unable to load Hadoop Configuration from "file:///D:/ software/pdi-ee-client-4.4.2-GA/data-integration/plugins/pentaho-big-data-plugin /hadoop-configurations/mapr21". For more information enable debug logging. INFO 13-09 10:43:02,413 - Kitchen - Start of run. INFO 13-09 10:43:02,703 - - Loading transformation from repository [test] in d irectory [/home/test] org.pentaho.di.core.exception.KettleException: Error serializing export interface [D:/kettle_tmp/test.kjb : test] Unexpected error during transformation metadata load No repository defined! at org.pentaho.di.resource.ResourceUtil.serializeResourceExportInterface (ResourceUtil.java:118) at org.pentaho.di.resource.ResourceUtil.serializeResourceExportInterface (ResourceUtil.java:56) at org.pentaho.di.kitchen.Kitchen.main(Kitchen.java:313) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl. java:39) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAcces sorImpl.java:25) at java.lang.reflect.Method.invoke(Method.java:597) at org.pentaho.commons.launcher.Launcher.main(Launcher.java:134) Caused by: org.pentaho.di.core.exception.KettleException: Unexpected error during transformation metadata load No repository defined! at org.pentaho.di.job.entries.trans.JobEntryTrans.getTransMeta(JobEntryT rans.java:1208) at org.pentaho.di.job.entries.trans.JobEntryTrans.exportResources(JobEnt ryTrans.java:1311) at org.pentaho.di.job.JobMeta.exportResources(JobMeta.java:3104) at org.pentaho.di.resource.ResourceUtil.serializeResourceExportInterface (ResourceUtil.java:87) ... 7 more Caused by: org.pentaho.di.core.exception.KettleException: No repository defined! at org.pentaho.di.job.entries.trans.JobEntryTrans.getTransMeta(JobEntryT rans.java:1181) ... 10 more

MySQL 8.0.19安装教程(windows 64位)

话不多说直接开干 目录 1-先去官网下载点击的MySQL的下载​ 2-配置初始化的my.ini文件的文件 3-初始化MySQL 4-安装MySQL服务 + 启动MySQL 服务 5-连接MySQL + 修改密码 先去官网下载点击的MySQL的下载 下载完成后解压 解压完是这个样子 配置初始化的my.ini文件的文件 ...

Python+OpenCV计算机视觉

Python+OpenCV计算机视觉系统全面的介绍。

Vue.js 2.0之全家桶系列视频课程

基于新的Vue.js 2.3版本, 目前新全的Vue.js教学视频,让你少走弯路,直达技术前沿! 1. 包含Vue.js全家桶(vue.js、vue-router、axios、vuex、vue-cli、webpack、ElementUI等) 2. 采用笔记+代码案例的形式讲解,通俗易懂

navicat(内含激活码)

navicat支持mysql的可视化操作,内涵激活码,不用再忍受弹框的痛苦。

HTML期末大作业

这是我自己做的HTML期末大作业,花了很多时间,稍加修改就可以作为自己的作业了,而且也可以作为学习参考

150讲轻松搞定Python网络爬虫

【为什么学爬虫?】 &nbsp; &nbsp; &nbsp; &nbsp;1、爬虫入手容易,但是深入较难,如何写出高效率的爬虫,如何写出灵活性高可扩展的爬虫都是一项技术活。另外在爬虫过程中,经常容易遇到被反爬虫,比如字体反爬、IP识别、验证码等,如何层层攻克难点拿到想要的数据,这门课程,你都能学到! &nbsp; &nbsp; &nbsp; &nbsp;2、如果是作为一个其他行业的开发者,比如app开发,web开发,学习爬虫能让你加强对技术的认知,能够开发出更加安全的软件和网站 【课程设计】 一个完整的爬虫程序,无论大小,总体来说可以分成三个步骤,分别是: 网络请求:模拟浏览器的行为从网上抓取数据。 数据解析:将请求下来的数据进行过滤,提取我们想要的数据。 数据存储:将提取到的数据存储到硬盘或者内存中。比如用mysql数据库或者redis等。 那么本课程也是按照这几个步骤循序渐进的进行讲解,带领学生完整的掌握每个步骤的技术。另外,因为爬虫的多样性,在爬取的过程中可能会发生被反爬、效率低下等。因此我们又增加了两个章节用来提高爬虫程序的灵活性,分别是: 爬虫进阶:包括IP代理,多线程爬虫,图形验证码识别、JS加密解密、动态网页爬虫、字体反爬识别等。 Scrapy和分布式爬虫:Scrapy框架、Scrapy-redis组件、分布式爬虫等。 通过爬虫进阶的知识点我们能应付大量的反爬网站,而Scrapy框架作为一个专业的爬虫框架,使用他可以快速提高我们编写爬虫程序的效率和速度。另外如果一台机器不能满足你的需求,我们可以用分布式爬虫让多台机器帮助你快速爬取数据。 &nbsp; 从基础爬虫到商业化应用爬虫,本套课程满足您的所有需求! 【课程服务】 专属付费社群+每周三讨论会+1v1答疑

三个项目玩转深度学习(附1G源码)

从事大数据与人工智能开发与实践约十年,钱老师亲自见证了大数据行业的发展与人工智能的从冷到热。事实证明,计算机技术的发展,算力突破,海量数据,机器人技术等,开启了第四次工业革命的序章。深度学习图像分类一直是人工智能的经典任务,是智慧零售、安防、无人驾驶等机器视觉应用领域的核心技术之一,掌握图像分类技术是机器视觉学习的重中之重。针对现有线上学习的特点与实际需求,我们开发了人工智能案例实战系列课程。打造:以项目案例实践为驱动的课程学习方式,覆盖了智能零售,智慧交通等常见领域,通过基础学习、项目案例实践、社群答疑,三维立体的方式,打造最好的学习效果。

基于STM32的电子时钟设计

时钟功能 还有闹钟功能,温湿度功能,整点报时功能 你值得拥有

学生成绩管理系统(PHP + MYSQL)

做的是数据库课程设计,使用的php + MySQL,本来是黄金搭配也就没啥说的,推荐使用wamp服务器,里面有详细的使用说明,带有界面的啊!呵呵 不行的话,可以给我留言!

面试了一个 31 岁程序员,让我有所触动,30岁以上的程序员该何去何从?

最近面试了一个31岁8年经验的程序猿,让我有点感慨,大龄程序猿该何去何从。

程序员的兼职技能课

获取讲师答疑方式: 在付费视频第一节(触摸命令_ALL)片头有二维码及加群流程介绍 限时福利 原价99元,今日仅需39元!购课添加小助手(微信号:itxy41)按提示还可领取价值800元的编程大礼包! 讲师介绍: 苏奕嘉&nbsp;前阿里UC项目工程师 脚本开发平台官方认证满级(六级)开发者。 我将如何教会你通过【定制脚本】赚到你人生的第一桶金? 零基础程序定制脚本开发课程,是完全针对零脚本开发经验的小白而设计,课程内容共分为3大阶段: ①前期将带你掌握Q开发语言和界面交互开发能力; ②中期通过实战来制作有具体需求的定制脚本; ③后期将解锁脚本的更高阶玩法,打通任督二脉; ④应用定制脚本合法赚取额外收入的完整经验分享,带你通过程序定制脚本开发这项副业,赚取到你的第一桶金!

实用主义学Python(小白也容易上手的Python实用案例)

原价169,限时立减100元! 系统掌握Python核心语法16点,轻松应对工作中80%以上的Python使用场景! 69元=72讲+源码+社群答疑+讲师社群分享会&nbsp; 【哪些人适合学习这门课程?】 1)大学生,平时只学习了Python理论,并未接触Python实战问题; 2)对Python实用技能掌握薄弱的人,自动化、爬虫、数据分析能让你快速提高工作效率; 3)想学习新技术,如:人工智能、机器学习、深度学习等,这门课程是你的必修课程; 4)想修炼更好的编程内功,优秀的工程师肯定不能只会一门语言,Python语言功能强大、使用高效、简单易学。 【超实用技能】 从零开始 自动生成工作周报 职场升级 豆瓣电影数据爬取 实用案例 奥运冠军数据分析 自动化办公:通过Python自动化分析Excel数据并自动操作Word文档,最终获得一份基于Excel表格的数据分析报告。 豆瓣电影爬虫:通过Python自动爬取豆瓣电影信息并将电影图片保存到本地。 奥运会数据分析实战 简介:通过Python分析120年间奥运会的数据,从不同角度入手分析,从而得出一些有趣的结论。 【超人气老师】 二两 中国人工智能协会高级会员 生成对抗神经网络研究者 《深入浅出生成对抗网络:原理剖析与TensorFlow实现》一书作者 阿里云大学云学院导师 前大型游戏公司后端工程师 【超丰富实用案例】 0)图片背景去除案例 1)自动生成工作周报案例 2)豆瓣电影数据爬取案例 3)奥运会数据分析案例 4)自动处理邮件案例 5)github信息爬取/更新提醒案例 6)B站百大UP信息爬取与分析案例 7)构建自己的论文网站案例

Java8零基础入门视频教程

这门课程基于主流的java8平台,由浅入深的详细讲解了java SE的开发技术,可以使java方向的入门学员,快速扎实的掌握java开发技术!

Python数据挖掘简易入门

&nbsp; &nbsp; &nbsp; &nbsp; 本课程为Python数据挖掘方向的入门课程,课程主要以真实数据为基础,详细介绍数据挖掘入门的流程和使用Python实现pandas与numpy在数据挖掘方向的运用,并深入学习如何运用scikit-learn调用常用的数据挖掘算法解决数据挖掘问题,为进一步深入学习数据挖掘打下扎实的基础。

零基础学C#编程—C#从小白到大咖

本课程从初学者角度出发,提供了C#从入门到成为程序开发高手所需要掌握的各方面知识和技术。 【课程特点】 1 由浅入深,编排合理; 2 视频讲解,精彩详尽; 3 丰富实例,轻松易学; 4 每章总结配有难点解析文档。 15大章节,228课时,1756分钟与你一同进步!

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

多功能数字钟.zip

利用数字电子计数知识设计并制作的数字电子钟(含multisim仿真),该数字钟具有显示星期、24小时制时间、闹铃、整点报时、时间校准功能

极简JAVA学习营第四期(报名以后加助教微信:eduxy-1)

想学好JAVA必须要报两万的培训班吗? Java大神勿入 如果你: 零基础想学JAVA却不知道从何入手 看了一堆书和视频却还是连JAVA的环境都搭建不起来 囊中羞涩面对两万起的JAVA培训班不忍直视 在职没有每天大块的时间专门学习JAVA 那么恭喜你找到组织了,在这里有: 1. 一群志同道合立志学好JAVA的同学一起学习讨论JAVA 2. 灵活机动的学习时间完成特定学习任务+每日编程实战练习 3. 热心助人的助教和讲师及时帮你解决问题,不按时完成作业小心助教老师的家访哦 上一张图看看前辈的感悟: &nbsp; &nbsp; 大家一定迫不及待想知道什么是极简JAVA学习营了吧,下面就来给大家说道说道: 什么是极简JAVA学习营? 1. 针对Java小白或者初级Java学习者; 2. 利用9天时间,每天1个小时时间; 3.通过 每日作业 / 组队PK / 助教答疑 / 实战编程 / 项目答辩 / 社群讨论 / 趣味知识抢答等方式让学员爱上学习编程 , 最终实现能独立开发一个基于控制台的‘库存管理系统’ 的学习模式 极简JAVA学习营是怎么学习的? &nbsp; 如何报名? 只要购买了极简JAVA一:JAVA入门就算报名成功! &nbsp;本期为第四期极简JAVA学习营,我们来看看往期学员的学习状态: 作业看这里~ &nbsp; 助教的作业报告是不是很专业 不交作业打屁屁 助教答疑是不是很用心 &nbsp; 有奖抢答大家玩的很嗨啊 &nbsp; &nbsp; 项目答辩终于开始啦 &nbsp; 优秀者的获奖感言 &nbsp; 这是答辩项目的效果 &nbsp; &nbsp; 这么细致的服务,这么好的氛围,这样的学习效果,需要多少钱呢? 不要1999,不要199,不要99,只要9.9 是的你没听错,只要9.9以上所有就都属于你了 如果你: 1、&nbsp;想学JAVA没有基础 2、&nbsp;想学JAVA没有整块的时间 3、&nbsp;想学JAVA没有足够的预算 还等什么?赶紧报名吧,抓紧抢位,本期只招300人,错过只有等时间待定的下一期了 &nbsp; 报名请加小助手微信:eduxy-1 &nbsp; &nbsp;

Python可以这样学(第一季:Python内功修炼)

董付国系列教材《Python程序设计基础》、《Python程序设计(第2版)》、《Python可以这样学》配套视频,讲解Python 3.5.x和3.6.x语法、内置对象用法、选择与循环以及函数设计与使用、lambda表达式用法、字符串与正则表达式应用、面向对象编程、文本文件与二进制文件操作、目录操作与系统运维、异常处理结构。

Java基础知识面试题(2020最新版)

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性?原理是什么Java语言有哪些特点什么是字节码?采用字节码的最大好处是什么什么是Java程序的主类?应用程序和小程序的主类有何不同?Java应用程序与小程序之间有那些差别?Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

机器学习实战系列套餐(必备基础+经典算法+案例实战)

机器学习实战系列套餐以实战为出发点,帮助同学们快速掌握机器学习领域必备经典算法原理并结合Python工具包进行实战应用。建议学习顺序:1.Python必备工具包:掌握实战工具 2.机器学习算法与实战应用:数学原理与应用方法都是必备技能 3.数据挖掘实战:通过真实数据集进行项目实战。按照下列课程顺序学习即可! 课程风格通俗易懂,用最接地气的方式带领大家轻松进军机器学习!提供所有课程代码,PPT与实战数据,有任何问题欢迎随时与我讨论。

Java面试题大全(2020版)

发现网上很多Java面试题都没有答案,所以花了很长时间搜集整理出来了这套Java面试题大全,希望对大家有帮助哈~ 本套Java面试题大全,全的不能再全,哈哈~ 一、Java 基础 1. JDK 和 JRE 有什么区别? JDK:Java Development Kit 的简称,java 开发工具包,提供了 java 的开发环境和运行环境。 JRE:Java Runtime Environ...

程序员垃圾简历长什么样?

已经连续五年参加大厂校招、社招的技术面试工作,简历看的不下于万份 这篇文章会用实例告诉你,什么是差的程序员简历! 疫情快要结束了,各个公司也都开始春招了,作为即将红遍大江南北的新晋UP主,那当然要为小伙伴们做点事(手动狗头)。 就在公众号里公开征简历,义务帮大家看,并一一点评。《启舰:春招在即,义务帮大家看看简历吧》 一石激起千层浪,三天收到两百多封简历。 花光了两个星期的所有空闲时...

深度学习原理+项目实战+算法详解+主流框架(套餐)

深度学习系列课程从深度学习基础知识点开始讲解一步步进入神经网络的世界再到卷积和递归神经网络,详解各大经典网络架构。实战部分选择当下最火爆深度学习框架PyTorch与Tensorflow/Keras,全程实战演示框架核心使用与建模方法。项目实战部分选择计算机视觉与自然语言处理领域经典项目,从零开始详解算法原理,debug模式逐行代码解读。适合准备就业和转行的同学们加入学习! 建议按照下列课程顺序来进行学习 (1)掌握深度学习必备经典网络架构 (2)深度框架实战方法 (3)计算机视觉与自然语言处理项目实战。(按照课程排列顺序即可)

HoloLens2开发入门教程

本课程为HoloLens2开发入门教程,讲解部署开发环境,安装VS2019,Unity版本,Windows SDK,创建Unity项目,讲解如何使用MRTK,编辑器模拟手势交互,打包VS工程并编译部署应用到HoloLens上等。

几率大的Redis面试题(含答案)

本文的面试题如下: Redis 持久化机制 缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题 热点数据和冷数据是什么 Memcache与Redis的区别都有哪些? 单线程的redis为什么这么快 redis的数据类型,以及每种数据类型的使用场景,Redis 内部结构 redis的过期策略以及内存淘汰机制【~】 Redis 为什么是单线程的,优点 如何解决redis的并发竞争key问题 Red...

MFC一站式终极全套课程包

该套餐共包含从C小白到C++到MFC的全部课程,整套学下来绝对成为一名C++大牛!!!

【数据结构与算法综合实验】欢乐连连看(C++ & MFC)案例

这是武汉理工大学计算机学院数据结构与算法综合实验课程的第三次项目:欢乐连连看(C++ & MFC)迭代开发代码。运行环境:VS2017。已经实现功能:开始游戏、消子、判断胜负、提示、重排、计时、帮助。

YOLOv3目标检测实战:训练自己的数据集

YOLOv3是一种基于深度学习的端到端实时目标检测方法,以速度快见长。本课程将手把手地教大家使用labelImg标注和使用YOLOv3训练自己的数据集。课程分为三个小项目:足球目标检测(单目标检测)、梅西目标检测(单目标检测)、足球和梅西同时目标检测(两目标检测)。 本课程的YOLOv3使用Darknet,在Ubuntu系统上做项目演示。包括:安装Darknet、给自己的数据集打标签、整理自己的数据集、修改配置文件、训练自己的数据集、测试训练出的网络模型、性能统计(mAP计算和画出PR曲线)和先验框聚类。 Darknet是使用C语言实现的轻型开源深度学习框架,依赖少,可移植性好,值得深入探究。 除本课程《YOLOv3目标检测实战:训练自己的数据集》外,本人推出了有关YOLOv3目标检测的系列课程,请持续关注该系列的其它课程视频,包括: 《YOLOv3目标检测实战:交通标志识别》 《YOLOv3目标检测:原理与源码解析》 《YOLOv3目标检测:网络模型改进方法》 敬请关注并选择学习!

u-boot-2015.07.tar.bz2

uboot-2015-07最新代码,喜欢的朋友请拿去

相关热词 c# 局部 截图 页面 c#实现简单的文件管理器 c# where c# 取文件夹路径 c# 对比 当天 c# fir 滤波器 c# 和站 队列 c# txt 去空格 c#移除其他类事件 c# 自动截屏
立即提问