b447803354 2017-02-08 07:40 采纳率: 0%
浏览 1369

Spark部署的问题，求生产环境下Spark工作模式的最佳实践

我目前搭建的Spark是Spark Standalone模式的，有1台Master服务器，2台Worker服务器。
我用java写好程序之后，我的程序要怎么样部署到Spark上。因为Spark的example运行的时候，只能通过命令运行，但是如果用在生产上，有什么好的办法吗？

  • 写回答

1条回答 默认 最新

  • devmiao 2017-02-08 21:17
    关注

    http://download.csdn.net/detail/turingbooks/9524885

    评论

报告相同问题？

  • 生产环境下究竟是如何连接远程spark的呢？ spark
    2021-08-20 10:02
    回答 1 已采纳 spark-submit提交后，可以将jar包提交到比如yarn集群上去运行，详细还可参考： Spark任务提交(Spark Submit) - 纯净天空 Spark任务提交(Spark Su
  • 这个kafka在Sparkstreaming生产者出问题 kafka spark
    2023-01-23 19:40
    回答 2 已采纳 看起来你好像少这个jar ： kafka-clients，查找一下项目里引用了没有 另外就是需要你check一下你代码里是否使用了 StringDeserializer 代替了 StringSer
  • spark yarn需要部署多个spark吗？ spark
    2021-07-04 22:12
    回答 2 已采纳 如果任务推送至yarn上，实际的工作节点为 nodeManager节点。与hive道理相同，hive默认跑mapreduce，单节点的hql查询也是推送任务至yarn上，工作节点为nodeManage
  • 大数据最佳实践-hive on spark
    2022-11-27 19:22
    WakeUpCcc的博客 目录 Hive on Spark与SparkSQLSpark 内存配置spark动态分配Hive Hive on Spark与SparkSQL Hive是Hadoop中的标准SQL引擎，也是最古老的引擎之一。H...
  • 关于spark在Windows环境下的配置启动问题 hadoop java
    2023-02-16 23:56
    回答 3 已采纳 如果您在 Windows 平台上安装了 Spark，并且无法找到 spark 和 spark-shell 命令，可以尝试以下几个方法： 检查环境变量：请确保将 Spark 的安装目录添加到系统的 PA
  • Hive on Spark配置问题 hive spark
    2022-12-08 11:36
    回答 3 已采纳 hive-seit.xml文件里面必须要添加设置 执行引擎为spark
  • 一个关于spark的问题 hadoop spark 有问必答
    2023-03-08 19:48
    回答 2 已采纳 连接被拒绝，说明服务不通。检查对应服务是否有启动。
  • 大数据最佳实践-spark
    2021-04-21 17:10
    猿与禅的博客 Apache Spark是用于大规模数据处理的统一分析引擎。它提供Java，Scala，Python和R中的高级API，以及支持常规执行图的优化引擎。它还支持一组丰富的更高级别的工具，包括星火SQL用于SQL和结构化数据的处理，MLlib机器...
  • Spark-2.3.0环境搭建安装 在启动spark时出现错误 spark
    2022-10-16 15:59
    回答 1 已采纳 这里提示的是你的spark里边的配置文件spark-env.sh 里边的hadoop路径写错了 这里应该是在hadop-2.7.5/etc/hadoop还有就是你的scala的路径也写错了，你在检查
  • spark on yarn 问题 spark
    2022-05-30 02:37
    回答 3 已采纳 仔细看日志信息，提示0个datanode了，也就是你的hdfs有问题，datanode都没起来，先去确定hdfs集群情况吧
  • 关于spark的问题 spark
    2022-04-06 11:24
    回答 1 已采纳 vim 打开/etc/shadow文件：显示行号：set nu取消行号：set nonu 以上
  • 大数据最佳实践-sparkstreaming
    2021-04-21 15:42
    猿与禅的博客 目录概述性能调优减少批处理时间数据接收中的并行度容错语义自定义接收器如何在Spark流中实现精确语义与幂等写入恰好一次与事务写入完全一致实现-zookeeper实现-hbase实现方式-mysql 概述 Spark Streaming是核心...
  • spark json数据写入mysql数据库问题 json mysql spark
    2022-01-25 09:53
    回答 1 已采纳 问题已解决：参考这个=====>https://blog.csdn.net/weixin_43753599/article/details/122697542?spm=1001.2014.300
  • Spark最佳实践
    2019-10-11 10:28
    xiaohei.info的博客 前言 本文主要分为四个部分： 分布式计算概览：第一章将会从基础的 分布式计算...Spark技术细节：基于第一章讨论的理论知识，在第二章中我们将会深入讨论Spark是如何 通过从逻辑执行图转化为物理执行图 来实现分布...
  • Spark学习之standalone模式部署实战
    2019-02-28 14:04
    Kevin要奋斗的博客 测试 假设我们有以下东西 要部署的spark程序，已经打包成一个jar包 四台机器，并且已经互相打通 spark安装包
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥100 Jenkins自动化部署—悬赏100元
  • ¥15 关于#python#的问题：求帮写python代码
  • ¥20 MATLAB画图图形出现上下震荡的线条
  • ¥15 关于#windows#的问题：怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘
  • ¥15 perl MISA分析p3_in脚本出错
  • ¥15 k8s部署jupyterlab，jupyterlab保存不了文件
  • ¥15 ubuntu虚拟机打包apk错误
  • ¥199 rust编程架构设计的方案 有偿
  • ¥15 回答4f系统的像差计算
  • ¥15 java如何提取出pdf里的文字？