爪哇男孩 2022-01-12 21:05 采纳率: 0%
浏览 114

hadoop3.1.4对应spark版本

问题遇到的现象和发生背景

现在在centos7虚拟机搭建好了三台hadoop集群，hadoop3.1.4版本。现在想搭建spark集群，请问应该选择什么版本的呢？

问题相关代码，请勿粘贴截图
运行结果及报错内容
我的解答思路和尝试过的方法
我想要达到的结果
  • 写回答

1条回答 默认 最新

  • 魂落忘川犹在川 2022-01-13 09:35
    关注

    2.4.3以上即可

    评论

报告相同问题？

  • hadoop和大数据、spark的关系该怎么理解？ hadoop spark 大数据
    2022-06-23 13:55
    回答 1 已采纳 Hadoop和Spark都是处理大数据的框架。就象你说关系型数据库，这只是一个概念，但是代表了一系列的含意，比如数据是结构化的，基于关系模型存储的。而MySQL、Oracle、SqlServer这些就
  • 大数据框架中的hadoop和hive spark presto tez是什么关系 hadoop hive spark
    2022-12-24 10:29
    回答 1 已采纳 Hadoop是一个分布式计算框架，可以在大数据集上运行分布式应用程序。它由许多组件组成，包括HDFS（分布式文件系统）和MapReduce（分布式计算引擎）。Hive是一个基于Hadoop的数据仓库系
  • spark和hadoop hadoop spark 大数据
    2022-12-23 16:57
    回答 2 已采纳 集群还在启动吧，还是在安全模式，无法创建文件夹，稍等一会儿集群完全启动成功后就可以了。
  • 1、hadoop3.1.4简单介绍及部署、简单验证
    2023-04-23 16:40
    一瓢一瓢的饮 alanchanchn的博客 Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。HDFS（分布式文件系统）：解决海量数据...
  • Hadoop和spark hadoop spark
    2023-03-01 10:46
    回答 2 已采纳 Hadoop中的MR中每个map/reduce task都是一个java进程方式运行，好处在于进程之间是互相独立的，每个task独享进程资源，没有互相干扰，监控方便，但是问题在于task之间不方便共享
  • 关于hadoop和spark大数据开发 大数据
    2016-06-12 05:52
    回答 2 已采纳 你好 本人刚在大数据库处理方面 学习 对此有以下理解 1，大数据处理看到的注重点是对数据处理 ，字段与字段在oracle与oracle ，oracle与mysql，oracle与mariadb等数据
  • 大数据、Hadoop hadoop 大数据
    2022-12-19 16:44
    回答 1 已采纳 format只需要对NameNode做，如果你在node3做了也没关系，删除node3上的、hdfs-site.xml中配置的NameNode对应的目录即可，然后在node1上也删除相同的目录后，重新
  • spark-3.4.1-bin-hadoop3.tgz - Spark 3.4.1 安装包(内置了Hadoop 3)
    2023-07-19 21:36
    这是 Apache Spark 3.4.1 版本的二进制文件，专为与 Hadoop 3 配合使用而设计。Spark 是一种快速、通用的集群计算系统，用于大规模数据处理。这个文件包含了所有必要的组件，可以直接下载并在 Hadoop 3 环境中使用。
  • 推荐系统&spark和hadoop hadoop python spark
    2022-04-22 23:16
    回答 1 已采纳 spark：主要用于海量数据的统计计算，跟做不做大屏没关系，比如进行机器学习。hadoop：主要用到的就是数据的分布式存储，海量的数据和日志，如果想留存，就用它来存储吧。做大屏统计是比较直观的数据结果
  • spark hadoop 怎么多人协作开发？ hadoop spark
    2022-06-07 00:40
    回答 3 已采纳 这取决于你需要解决什么问题，如果只是临时跑一下批处理任务用到spark大可local模式跑跑完了，真要构建完整的hadoop生态你这一台云服务器够呛，内存低了甚至跑不起来全部组件
  • 虚拟机里安装spark时报错 hadoop spark 大数据
    2022-12-07 13:39
    回答 1 已采纳 缺少jar包：org/slf4j/impl/StaticLoggerBinder，添加一下slf4j-nop-xxx.jar
  • hadoop3.1.3-spark-2.4.6-bin-hadoop2.7-hive-3.1.2单机版本安装
    2020-06-27 11:31
    镜水灵动的博客 三、安装spark vim spark-env.sh export SCALA_HOME=/usr/java/scala export JAVA_HOME=/usr/java/java8 export HADOOP_HOME=/usr/java/hadoop export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export SPARK_LOG_...
  • spark 调用SparkPi时，显示拒绝连接 hadoop spark 大数据
    2023-03-15 15:46
    回答 1 已采纳 这篇文章：spark 运行自带样例SparkPi、spark-examples报错 也许有你想要的答案，你可以看看
  • spark2.4.7兼容haddoop 3.1.4 和hive 3.1.2
    2021-05-17 10:27
    pietiaonan_bugkiller的博客 所有平台是基于apache 的 hadoop 2.6.3、hive 1.2.1、spark 2.0.2 、scala 2.11.8（其他组件暂不详述），现在需要搭建一套新的集群，决定新集群组件采用新的版本，hadoop 3.1.4 、hive 3.1.2 、spark 2.4.7、scala ...
  • Hadoop3系列——(十一)Spark安装
    2020-10-12 15:56
    qq_41622603的博客 拉到最下面，官网现在是2.13.3版本，案例用的是2.11.6版本：https://download.csdn.net/download/qq_41622603/12919481 (1)把安装包上传到服务器，并解压，这里上传到/opt/software目录下 切换到目录：cd /opt...
  • 没有解决我的问题, 去提问

问题事件

  • 创建了问题 1月12日

悬赏问题

  • ¥20 delta降尺度方法，未来数据怎么降尺度
  • ¥15 c# 使用NPOI快速将datatable数据导入excel中指定sheet，要求快速高效
  • ¥15 再不同版本的系统上，TCP传输速度不一致
  • ¥15 高德地图点聚合中Marker的位置无法实时更新
  • ¥15 DIFY API Endpoint 问题。
  • ¥20 sub地址DHCP问题
  • ¥15 delta降尺度计算的一些细节，有偿
  • ¥15 Arduino红外遥控代码有问题
  • ¥15 数值计算离散正交多项式
  • ¥30 数值计算均差系数编程