kxg916361108 2017-06-21 03:39 采纳率: 0%
浏览 9695

Spark提交作业如何给main函数输入参数

因为我要用main函数的args字符串数组，spark-submit提交作业时如何输入这个参数呢？
求大神解答。谢谢！！！

  • 写回答

2条回答 默认 最新

  • lik_lik 2017-06-21 04:09
    关注

    --class

    --master \

    --deploy-mode \

    --conf= \

    ... #other options

    \

    [application-arguments]

    评论

报告相同问题？

  • Spark作业提交
    2024-08-11 23:51
    Tom无敌宇宙猫的博客 Driver一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的入口点。负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage...
  • 大数据spark交流SPARK 技术交流
    2023-01-15 16:50
    Application是指用户编写的Spark程序，Driver运行Application的main()函数，创建SparkContext以初始化环境。Executor是在集群中运行任务的进程，它们负责实际的计算工作，并通过SparkContext与Driver通信。 总的来...
  • 摸鱼大数据——Spark SQL——Spark SQL函数定义二
    2024-07-09 07:15
    困了就倒头睡的博客 第一步: 在PySpark中创建一个...，此名称用于后续在SQL中使用，可以任意取值，但是要符合名称的规范参数2: 【自定义的Python函数】，表示将哪个Python的函数注册为Spark SQL的函数参数3: 【UDF函数的返回值类型】。
  • 【大数据学习 | Spark-Core】Spark提交及运行流程
    2024-11-22 20:25
    Vez'nan的幸福生活的博客 3）启动的Executor 进程 会主动与 Driver端通信，Driver 端根据代码的执行情况，产生多个task，发送给Executor；...运行 Application 的 main() 函数的节点，提交任务，并下发计算任务；spark的集群运行结构。
  • 摸鱼大数据——Spark SQL——Spark SQL函数定义一
    2024-07-09 07:15
    困了就倒头睡的博客 自定义函数流程：第一步: 在PySpark中创建一个...【UDF函数名称】，此名称用于后续在SQL中使用，可以任意取值，但是要符合名称的规范参数2: 【自定义的Python函数】，表示将哪个Python的函数注册为Spark SQL的函数。
  • 大数据系列之Spark作业提交流程剖析
    2020-08-06 18:55
    开封程序员阿强的博客 文章目录大数据系列之Spark作业提交流程剖析1. 术语名词解释2. Driver、Worker、Executor功能介绍2.1 Driver功能介绍2.2 Worker功能介绍2.3 Executor功能介绍3. 作业提交3.1 Driver运行在Worker上的执行流程3.2 ...
  • Spark大数据技术详解
    2024-07-21 22:54
    Brandonn_Xu的博客 Spark是一个分布式计算引擎（框架）。分布式：多进程，多节点。
  • spark的脚本提交参数
    2023-01-30 18:44
    阿君聊风控的博客 spark提交参数以及参数解读
  • 大数据｜Spark介绍
    2023-05-18 15:41
    啦啦右一的博客 Scala具有简洁（特别适合交互式使用）、有效（因为是静态类型）等优点 Spark支持三种语言的API：Scala、Python、Java //在一个存储于HDFS的Log文件中，计算出现ERROR的行数 //定义一个main函数 def main(args: Array...
  • spark考试练习题含答案.rar
    2022-06-22 16:50
    3. **Spark Application**：一个完整的Spark程序，包括main方法和Job。 4. **DAG（Directed Acyclic Graph）**：Spark将一系列操作转化为有向无环图，以规划执行任务。 三、Spark SQL与数据处理 1. **DataFrame ...
  • 没有解决我的问题, 去提问