IDEA 中运行main方法提交任务到Spark集群

Question

    public static void main(String[] args) {
        SparkSession spark = SparkSession.builder()
                .appName("MySQL Data Sync Example")
                .master("spark://192.168.2.5:7077")
                .config("spark.executor.memory", "2g")
                .config("spark.driver.memory", "1g")
                .config("spark.driver.host", "192.168.2.55")
                .config("spark.driver.port", "8856")
                .config("spark.jars.packages", "org.mongodb.spark:mongo-spark-connector_2.12:10.4.1")
                .getOrCreate();

        // 从 MongoDB 读取数据
        Dataset<Row> df = spark.read()
                .format("mongodb")
                .option("collection", "BIDataSource")
                .option("database", "ranqi")
                .option("model", ReadConfig.ParseMode.PERMISSIVE.name())
                .option("connection.uri", "mongodb://dba:dba@192.168.2.222:3000/ranqi.BIDataSource?authSource=admin")
                .load();

        // 显示数据或进行其他操作
        df.show();
    }

使用local执行成功，使用集群执行失败，如何在JAVA服务中不打包直接提交任务到spark集群。

Answer 1

阿里嘎多学长整理AIGC生成，因移动端显示问题导致当前答案未能完全显示，请使用PC端查看更加详细的解答过程

IDEA 中运行 main 方法提交任务到 Spark 集群

你想在 IDEA 中运行 main 方法，并将任务提交到 Spark 集群。下面是一些步骤和代码：

1. 在 IDEA 中，创建一个新的 Java 项目，并添加 Spark 依赖项。
2. 在 pom.xml 文件中添加以下依赖项：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>3.0.1</version>
</dependency>

1. 在 main 方法中，创建一个 SparkSession：

public static void main(String[] args) {
    SparkSession spark = SparkSession.builder()
            .appName("My Spark App")
            .getOrCreate();
}

1. 使用 SparkSession 创建一个 DataFrame 或 Datasets，然后使用 spark-submit 命令将任务提交到 Spark 集群：

spark.range(1, 10).show();

1. 在 IDEA 中，右键点击项目根目录，选择 "Run 'main' method"，然后选择 "Edit Configurations"。
2. 在 "Edit Configurations" 对话框中，添加一个新的配置，选择 "Application"，然后选择 "Spark"。
3. 在 "Spark" 配置中，输入 Spark 集群的 URL，例如 spark://localhost:7077。
4. 点击 "Apply" 和 "OK"，然后运行 main 方法。

IDEA 将会将任务提交到 Spark 集群，并显示结果。

注意：在上面的代码中，我们使用了 Spark 3.0.1 版本，如果你使用的是其他版本，需要根据实际情况进行修改。