在Java web中怎么提交一个spark job任务？

相关推荐 更多相似问题

• 在Java web中怎么提交一个spark job任务？ javaspark

  2018-11-06 15:11
  回答 3 已采纳 spark使用命令行提交任务使用场景很窄，一般情况下提交任务、kill任务、查询任务执行状态都是使用http接口，在这种场景下你应该使用livy。你需要安装livy，才可以用，具体安装文档以及使用文档
• JAVA服务端如何与SPARK服务器交互？？ javaspark服务器

  2015-09-05 14:28
  回答 3 已采纳 http://shiyanjun.cn/archives/742.html
• eclipse写的spark，不打jar包，如何提交到spark集群？ eclipse

  2018-10-09 14:23
  回答 3 已采纳 可以本地调试，以本地模式运行。 首先保证maven项目中的spark的相关以来已经引用： org.apache.spark
• Java Web提交任务到Spark Spark通过Java Web提交任务

  2018-05-09 09:42
  一只土肥圆的猿的博客 相关软件版本：Spark1.4.1 ，Hadoop2.6，Scala2.10.5 , MyEclipse2014，intelliJ IDEA14，JDK1.8，Tomcat7机器：windows7 （包含JDK1.8，MyEclipse2014，IntelliJ IDEA14，TOmcat7）；centos6.6虚拟机（Hadoop伪...
• java Web提交Spark任务(todo)

  2020-05-02 10:07
  风情客家__的博客 参考文件：Java Web提交任务到Spark Spark通过Java Web提交任务 windows7 （包含JDK1.8，MyEclipse2014，IntelliJ IDEA14，TOmcat7）； centos6.6虚拟机（Hadoop伪分布式集群，SparkstandAlone集群，JDK1.8）； ...
• Java Web提交任务到Spark

  2015-08-26 12:51
  fansy1990的博客 1> 提交任务到Spark集群，使用standAlone模式执行； 2> 提交任务到Yarn集群，使用yarn-client的模式； 2. windows 开发java web程序调用Spark，执行Scala开发的Spark程序，同样包含两种模式，参考1. 3. linux运行...
• spark yarn需要部署多个spark吗？ spark

  2021-07-04 22:12
  回答 2 已采纳 如果任务推送至yarn上，实际的工作节点为 nodeManager节点。与hive道理相同，hive默认跑mapreduce，单节点的hql查询也是推送任务至yarn上，工作节点为nodeManage
• spark-submit命令运行jar包报空指针，Java -jar命令可以运行。 jarjavaspark

  2018-05-08 10:49
  回答 1 已采纳 可以试试hadoop jar xxx(main)
• java 后台查询数据使用spark Streaming处理 javaspark

  2017-08-04 10:06
  回答 1 已采纳 http://blog.csdn.net/svmachine/article/details/52200761
• Java Web提交参数到Spark集群执行任务

  2017-05-25 09:13
  dufufd的博客 输入某用户的位置（经纬度），提交到Web服务器，再把任务（找出该用户附近一公里内的商城推荐）提交到Spark集群上执行，返回计算结果后再存入到Redis数据库中，供后台调用返回结果给使用方。 网
• java提交spark任务到yarn平台

  2018-06-21 21:31
  毛毛虫之路的博客 一、背景  采用spark的方式处理，所以需要将spark的功能集成到代码，采用yarn客户端的方式管理spark任务。不需要将cdh的一些配置文件放到resource路径下，只需要配置一些配置即可，非常方便   二、任务管理架构...
• 使用JAVA代码实现编程式提交Spark任务

  2018-02-24 14:42
  小小Tiny的博客 项目中使用SparkSession来执行任务，出现一个问题： SparkSession开启后会一直占用集群的资源（CPU和内存），而且，SparkSession关闭后，无法再次开启（报异常）。 为了解决以上问题，只有采用Java代码模拟Spark ...
• 关于spark离线程序读写本地文件的问题 javaspark

  2018-09-11 10:53
  回答 4 已采纳 读取数据文件的接口不是有SparkContext的textFile么，读取本地文件只是需要指明file://即可（但是要保证所有节点本地上都有该文件，路径一致）， 所以一般不会去读取本地的数据文件，
• spark-submit提交py文件，一直提示资源不足~~ hadooppythonspark

  2021-07-16 08:59
  回答 1 已采纳 第一种：是spark节点的内存满了，加大执行内存，内存可以在spark的配置文件—>spark-env.sh中可以看到。这个配置文件路径在：/usr/local/spark-2.4.0-bin-
• 生产环境下究竟是如何连接远程spark的呢？ spark

  2021-08-20 10:02
  回答 1 已采纳 spark-submit提交后，可以将jar包提交到比如yarn集群上去运行，详细还可参考： Spark任务提交(Spark Submit) - 纯净天空 Spark任务提交(Spark Su
• 使用java代码来实现动态提交spark任务到集群

  2018-05-05 12:51
  L凝竹的博客 执行java代码的一个方法，这个动作触发提交spark任务到运行在yarn上的spark 集群 开始 Spark任务介绍 执行spark读取Hive中的一个表，这个表是用Hive来管理的HBASE表。统计这个表的总记录数。 具体代码如下： ...
• 第一个spark应用开发详解(java版)

  2019-02-08 21:53
  程序员欣宸的博客 java版的spark应用开发
• Web提交参数到Spark集群执行任务

  2016-09-03 16:28
  nanphonfy的博客 输入某用户的位置（经纬度），提交到Web服务器，再把任务（找出该用户附近一公里内的商城推荐）提交到Spark集群上执行，返回计算结果后再存入到redis数据库中，供后台调用返回结果给使用方。 网上关于这方面的资料...
• 为啥使用spark或flink就是实时计算，我在java代码里直接写计算代码就不是了吗？ javaspark后端有问必答

  2021-09-02 17:59
  回答 2 已采纳 直接写消费者，行，也是实时计算。区别是spark这种功能比较多，比如多态机器分布部署，容错机制，故障恢复等。所以对于大型系统用spark这种更方便。如果系统的要求没那么高，那肯定是自己写比较方便了。
• springboot基于spark-launcher构建rest api远程提交spark任务

  2020-05-21 22:10
  风情客家__的博客 使用springboot构建rest api远程提交spark任务，将数据库中的表数据存储到hdfs上，任务单独起一个项目，解除与springboot项目的耦合 2. 构建springboot项目 1. pom配置 <properties> ...
• 没有解决我的问题, 去提问