Azkaban + spring batch 的部署问题

各位前辈,我遇到一个问题,也是初次使用Azkaban框架。我希望把Spring batch项目放到Azkaban上,用的是javaprocess,在main方法中载入config自动启动Job,但是没有结束的标志,这样的项目放到Azkaban上如何设置结束的标志啊?我现在jar包传到Azkaban上之后一直在run,没有结束的标志,请各位前辈帮个忙解答。谢谢各位前辈的解答,深表感谢。

0

2个回答

1

问题已经解决了,是自己大意了,在gradle里面加了web的依赖,导致启动了tomcat,所以main方法一直不停止

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
【Azkaban】高版本azkaban部署
Azkaban介绍                  Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。 它有如下功能特点: Web用户界面         方便上传工作流         方便设置任...
Azkaban 系列(二)—— Azkaban 3.x 编译及部署
一、Azkaban 源码编译 1.1 下载并解压 Azkaban 在3.0版本之后就不提供对应的安装包,需要自己下载源码进行编译。 下载所需版本的源码,Azkaban的源码托管在GitHub上,地址为https://github.com/azkaban/azkaban 。可以使用git clone的方式获取源码,也可以使用wget直接下载对应release版本的tar.gz文件,这里我采用第二种方...
azkaban部署文档
azkaban部署文档 1.下载 git clone https://github.com/azkaban/azkaban.git 2.编译 Build Azkaban ./gradlew build Clean the build ./gradlew clean Build and install distributions ./gradlew instal...
部署Azkaban任务调度器demo
今天在虚拟机上面配置了一个Azkaban的任务调度器,这是由Linkedin公司开源的一个大批量工作流任务调度器(任务量不大的话crontab和hadoop的jobController 结合起来也可以实现任务的调度);下面我们来部署下Azkaban:1.需要下载三个包 azkaban-web-server-2.5.0.tar.gz azkaban-executor-server-2.5.0.t
Azkaban的安装与部署
Azkaban的安装与部署1.创建Azkaban目录,上传Azkaban的安装包并解压mkdir Azkaban 执行服务器 tar –zxvf azkaban-executor-server-2.5.0.tar.gz web服务器 tar –zxvf azkaban-web-server-2.5.0.tar.gz 脚本 tar –zxvf azkaban-sql-script-2.5.0.tar.
Azkaban单机部署安装
安装步骤 1.git拉取项目 git clone https://github.com/azkaban/azkaban.git 2.编译 cd azkaban ./gradlew build -x test 3.解压 tar -zxvf /opt/azkaban/azkaban-solo-server/build/distributions/azkaban-so...
Azkaban部署实施
1.Hue原理与架构rn 2.Hue安装部署rn 3.Hue实现操作HDFSrn 4.Hue实现操作Hivern 5.Hue实现操作HBasern 6.Hue实现WorkFlowrn 7.Azkaban 技术原理与架构rn 8.Azkaban 部署实施rn 9.Azkaban 实现调度Hadoop job,Spark job
spring batch
基于spring开发的批量处理框架,实际应用和学习研究都不错
Spring Batch
作 者:孤旅者 Blog:http://www.cnblogs.com/gulvzhe 整理者:大海 声 明:此系列博文出自博客园,版权归原作者和博客园所有,转载请注明出处。只能用于学习之用。任何版权 问题整理者概不负责!
azkaban 编译与部署
azkaban 源码编译,安装部署。
Spring batch
这是一个简单的spring batch的事例,是一个maven工程导入联网即可
spring batch 框架版本问题
最近准备使用springbatch框架,之前的框架是springmvc,我把batch集成进来之后,发现始终是报错。各种类找不到,后来请教高手后得知,是由于包的版本问题。 springbatch使用3.0后的版本的时候,项目自身引用的spring框架版本不宜太低,建议使用高版本。 springbatch 版本 3.0.1.RELEASE spring 版本 4.0.5.RELEASE
Azkaban 分布式任务调度部署实战
随着公司业务规模扩大,运营需要各种数据进行指导运营策略;产品需要各种数据需要指导产品工作;研发也需要在海量数据中快速定位一些指标重构现有系统以便提高性能。以往的 Cron...
Azkaban编译及WebServer模式部署
一、下载编译(JAVA需1.8版本) 下载:git clone https://github.com/azkaban/azkaban.git 进入:cd azkaban/gradle/wrapper/目录下 下载:wget https://services.gradle.org/distributions/gradle-4.1-all.zip[root@hadoop001 wrapper]#
部署Azkaban多节点分布式模式
简单介绍: Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。 它有三个重要组件: 关系数据库(目前仅支持mysql) web管理服务器-AzkabanWebServer 执行服务器-AzkabanExec...
azkaban的executor的分布式(集群)部署
最近在做azkaban的二次开发被azkaban的executor的分布式部署虐了一会儿,遇到问题时在网上也找不到解决方法,于是搞好之后决定写下了大体的做法: azkaban本身是默认不支持分布式的executor的要想让其支持分布式的执行器首先得现在web服务器的配置文件azkaban.properties下面增添一行 azkaban.use.multiple.executors=true
大数据----【azkaban的部署及实战测试】
工作流程调度器 1. 工作流程调度系统产生背景 一个完整的数据分析系统通常都是由大量任务单元组成 : ​ shell脚本程序 , java程序 , MapReduce程序 , hive脚本等 各个任务单元之间存在时间先后依赖关系 为了更好地组织起这样的复杂执行计划 , 需要一个工作流程调度系统来调度执行 2. 工作流程调度实现方式 简单的任务调度 : ​ 直接使用linux的crontab来定义 ...
two-server模式部署(azkaban二)
(2)解压web‐server和exec‐server #web-server [root@node1 ~]# tar -zxvf /root/azkaban-3.42.0/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C . #exec‐server [root@node1 ~]#...
spring batch demo
spring batch demo cvs xml
数据处理---Spring Batch之实践
上面介绍了Spring Batch的基本概念和简单的demo项目,显然这些还是不够实际使用的。下面我们来更多的代码实践。         在上面的基础项目上面,我们来更多的修改:         不用项目默认的hsql DB,用mysql,让ItemReader,ItemWriter 支持mysql;         支持总结处理结果自定义保存到数据库,我们用项目里面的JPA;
数据处理---Spring Batch之进阶
有了前面两篇的基础之后,我们一起来聊聊更高级的关于Spring Batch的话题。比如Job 配置;自定义各种Listener;控制步骤流程;自定义Reader,Processor,Writer;并行处理。这些东西在Spring Batch的使用中很多可能会需要的,当然还有更多的内容,最好找下文档,这样上手就快很多。
Spring Batch In Action
Spring Batch In Action
Spring Batch 文档
Spring Batch Java J2EE Web
spring batch批处理 教程
目录 一,引言 3 1,什么是批处理 3 2,什么是 Spring Batch 3 二,Spring Batch结构 4 1,Spring Batch体系结构 4 2,Spring Batch主要对象 5 三,Spring Batch流程介绍 5 四,Spring Batch之Step执行过程介绍 6 五,Spring Batch应用 7 1,简单应用 7  构建应用 7  对象定义 7  读写及处理接口 8  任务定义 10  任务执行 11  任务重试 13  运行时管理 14 2,高级应用 16  Step Flow介绍 16  批量操作数据库介绍 16  Job多个Step的执行 17  条件流程和流程决策 20  并发处理 22 3,监控 27 六,总结 29
spring batch 并行执行任务
@RequestMapping("/startall") @ResponseBody String startall() throws ParseException { if (TimeFlag.getJobRun()) { System.out.println("Cron Start All Data Rsync Job. But Job Running."); return "Job...
spring batch不错的教程
spring batch不错的资料教程 中文: http://www.ibm.com/developerworks/cn/java/j-lo-springbatch1/ http://www.ibm.com/developerworks/cn/java/j-lo-springbatch2/ 英文 http://www.mkyong.com/tutorials/spring-b...
Spring Batch学习笔记
  和传统的批处理(Batch Processing)相比,Spring Batch虽然有很大的不同,但是归根结底,都是顺序地执行一些列任务。你用Spring Batch可以读取一个TXT文件的内容,然后将处理之后的数据放到数据库里,反之亦然。   Spring Batch任务处理的核心组件有Job、Step、Tasklet、JobLuncher和JobRepository等。其中,Job...
配置 spring batch 报错
突然要用到Spring Batch,就在网上找了一个小例子熟悉下。但在部署环境时老是会报错。rn例子:[url=http://www.cnblogs.com/gulvzhe/archive/2011/10/31/2230655.html][/url]rnrnspring 3.0 + Eclipse + spring-batch 2.1.8rnrn报错信息如下:rnException in thread "main" org.springframework.beans.factory.xml.XmlBeanDefinitionStoreException: Line 22 in XML document from class path resource [batch.xml] is invalid; nested exception is org.xml.sax.SAXParseException: cvc-complex-type.2.4.c: The matching wildcard is strict, but no declaration can be found for element 'job'.rnrnCaused by: org.xml.sax.SAXParseException: cvc-complex-type.2.4.c: The matching wildcard is strict, but no declaration can be found for element 'job'.rnrn在网上google了很久rn例如将:将xsd 本地化,还是没什么用。rnrn都没找到解决办法。
Spring Batch Cloud Sample
由于本人一直是C like(C++, C# )语言拥护者,对于Java及其一些框架不是很熟悉,所以难免描述不是很准确,这个例子是基于Spring MVC的一个例子,刚看到题目,对于Spring Batch 一概不知,以为是自己随便起的一个名字,后来才知道这是一个开源项目,网址在这里,[url=http://static.springsource.org/spring-batch-admin/trunk/spring-batch-admin-sample/source-repository.html ]http://static.springsource.org/spring-batch-admin/trunk/spring-batch-admin-sample/source-repository.html [/url]rnrn首先简单介绍一下Spring Batch, 我们都知道Windows下有批处理应用,就是写一些 DOS 脚本来进行多批次的命令执行,类似的,Spring Batch是一个轻量级的,完全面向Spring的批处理框架,可以应用于企业级大量的数据处理系统。Spring Batch以POJO和大家熟知的Spring框架为基础,使开发者更容易的访问和利用企业级服务。Spring Batch可以提供大量的,可重复的数据处理功能,包括日志记录/跟踪,事务管理,作业处理统计工作重新启动、跳过,和资源管理等重要功能。rnrnSpring Batch 的技术实现: 1)利用Spring编程模型:使程序员专注于业务处理,让Spring框架管理流程。2)明确分离批处理的执行环境和应用。3)提供核心的,共通的接口。4)提供开箱即用(out of the box)的简单的默认的核心执行接口。5)提供Spring框架中配置、自定义、和扩展服务。6)所有存在的核心服务可以很容的被替换和扩展,不影响基础层。7)提供一个简单的部署模式,利用Maven构建独立的Jar文件。rnrnSpring Batch的逻辑架构分为应用层,内核层,基础架构层,最上层应用包括所有的批处理作业,内核层包含需要启动Batch的比如JobLauncher等,最下面基础架构层包含了通用的读写类(ItemReader, ItemWriter)。rnrnSpring Batch的执行过程: 每个 Spring Batch都会包含一个Job。Job里面装了若干Step,Batch中实际工作的也就是Step,至于Step具体做什么,就是读写数据和处理数据,然后将这些数据存储起来(ItemReader用来读取数据,ItemProcessor用来处理数据,ItemWriter用来写数据) 。JobLauncher用来启动Job,JobRepository是上述处理提供的一种持久化机制,它为JobLauncher,Job,和Step 实例提供CRUD操作。外部控制器调用JobLauncher启动一个Job,Job调用自己的Step去实现对数据的操作,Step处理完成后,再将处理结果一步步返回给上一层,这就是Batch处理实现的一个简单流程。rnrn说了那么多,开始下载源代码并且导人到工程里面,源代码下载地址:[url=https://github.com/SpringSource/cloudfoundry-samples/tree/master/batch]https://github.com/SpringSource/cloudfoundry-samples/tree/master/batch[/url] rnrn如果你也是对Spring不是很熟悉,推荐使用STS(SpringSource Tool Suite), 这是一个Eclipse Bundle,可以省去你在Eclipse 里面配置各种依赖jar包的麻烦。rnrn打开STS以后,文件->新建-> Spring Temple Project ,然后选择Simple Spring Batch Project,这样一个Spring Batch 项目就建立好了,包含了所有的依赖和简单的输入输出任务配置。然后导入下载好的示例代码,目录结果如下:rn[img=http://events.csdn.net/xhy/CFlt/1.jpg][/img]rn示例代码中展示了简单的读写,实现很简单,只要实现 ItemReader和ItemWrite定义好的接口即可:rn[img=http://events.csdn.net/xhy/CFlt/2.jpg][/img]
Spring Batch 中文
该文档比较详细地介绍了Spring Batch大数据量批处理架构
Spring Batch in Action
Spring Batch in Action
spring batch 源码
spring batch 源码 spring batch 源码 包含当前的各个版本和源码,很有用
springboot、spring batch 源码下载
Spring Batch是用来处理大量数据操作的一个框架,主要用来读取大量数据,然后进行一定处理后输出成指定形式.该项目集成springboot、springbatch、oracle,包括自动触发和手动触发两种方式实现文件上传数据的批处理操作,使用者只需要进行相应的数据库连接配置修改即可。
Spring batch的自动运行
一个最简单的spring batch的程序,照办官网的sample,如下 一个配置程序   @Configuration @EnableBatchProcessing @EnableAutoConfiguration public class BatchConfiguration { @Autowired private JobBuilderFactory jobBu...
Spring Batch管理平台
一、Spring Batch概念 Spring Batch是一个批处理的框架,作为一个 Spring 组件,提供了通过使用 Spring 的依赖注入(dependency injection) 来解决批处理的条件。 二、Spring Batch的优劣 Spring Batch框架的出现,降低了开发人员自行编写批处理框架的难度,同时,也让开发人员更加集中于业务逻辑的处理。但是,Spring...
关于Spring Batch
有哪位高手在实际的项目中使用过Spring Batch,我现在有两个问题:rn1.经测试,每一个Job的启动和Step的切换都要花费25~30秒的时间,不知道这个开销是否有办法减少rn2.我现在用Spring Batch实现从数据表读出数据,经过一定的处理或删选,写入另一张数据表。rn采用Spring Batch的ItemReader和ItemWriter模型,reader用的是JdbcCursorItemReader,Writer用的是自定义ItemWriter,主要逻辑是基于Jdbctemplate的batch update,每次更新commit-interval数量的记录。目前最大的问题,每次 commit-interval的数量不能超过10000,否则outofmemory,有没有办法减少内存使用,二,这个模型花费的时间很长,远远超过使用sql语句实现。是否是实现方法有问题。
Spring Batch简介
本课程通过讲解Spring Batch的基础知识点以及一些实际的项目示例让大家熟悉如何使用Spring Batch进行大批量数据的同步、处理及转换等。
Spring Batch项目配置
本课程通过讲解Spring Batch的基础知识点以及一些实际的项目示例让大家熟悉如何使用Spring Batch进行大批量数据的同步、处理及转换等。
Spring Batch XmlBeans Learning
Spring Batch XmlBeans Learning Spring Batch XmlBeans Learning
Spring Batch批处理框架
轻松引领进入数据批处理世界:基本特性和新特性,快速入门的Hello World。 深度探索Spring Batch 批处理框架的核心概念:作业配置、作业步配置,以及Spring Batch 框架中经典的三步走策略。 快速提升数据批处理的能力:高性能、高可靠性、并行处理。
相关热词 c#异步发送kafka c#窗体编号 c# 操作二进制文件 c# 反射 机制 c#线程 窗体失去响应 c#角度转弧度 c# 解析gps数据 c# vs设置 语法版本 c# json含回车 c#多线程demo