集群情况：
23台8核 32G内存服务器（主节点1台）
数据量：从spark中700W行数据中检索100W行数据
就是简单的SUM计算 ，计算时间约为3秒
请问这个速度是否正常，多谢！
spark集群计算速度是否正常？
- 写回答
- 好问题 0 提建议
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2021-06-08 22:57《Python+Spark 2.0+Hadoop机器学习与大数据》是一本深入探讨大数据处理与机器学习技术结合的著作。作者林大贵以其丰富的经验，详细介绍了如何利用Python、Spark 2.0以及Hadoop这一组合来构建高效的数据分析解决方案...
- 2024-05-08 09:57然后，书中通过实战案例，详细讲解了如何使用Python开发Spark机器学习与大数据应用，如何安装和配置Hadoop单机集群和多机集群，如何使用Hadoop HDFS命令等。 该书不仅加入了新近的大数据技术，还丰富了“机器学习”...
- 2024-08-14 09:05武子康的博客 Spark集群架构由驱动程序、集群管理器和执行器三大核心组件组成，共同支撑其分布式计算能力。驱动程序是应用的入口，负责创建SparkContext、生成并优化执行计划，并通过集群管理器分发任务。集群管理器则承担资源...
- 2022-07-04 19:27aimeralan01的博客 Spark集群搭建
- 2024-06-06 18:52_BugMan的博客 十分钟，一文讲明白复杂抽象的Spark核心概念。
- 2022-05-12 19:57在大数据领域，Spark作为一个高效、易用且可扩展的分布式计算框架，扮演着至关重要的角色。本实验报告旨在深入探讨Spark在处理大规模数据时的关键特性和功能，通过实际操作来理解其工作原理和优势。报告内容包括实验...
- 2024-02-21 12:47Spark以其内存计算和低延迟特性，显著提升了数据处理速度。Spark包含多个模块，如Spark Core、Spark SQL、Spark Streaming和MLlib。其中，Spark SQL用于结构化数据处理，Spark Streaming处理实时流数据，而MLlib则是...
- 2024-04-21 14:12正在绘制中的博客 解压下载的Spark安装包 tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz -C /export/server/ 环境变量 配置Spark由如下5个环境变量需要设置 SPARK_HOME: 表示Spark安装路径在哪里 PYSPARK_PYTHON: 表示Spark想运行Python...
- 2022-10-30 15:44新城已无旧少年_的博客 Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。属于mapreduce的加强版本，结合了其优点而且spark是可以将数据保存在内存中。从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等...
- 2021-02-25 06:19本文来自于博客园，ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。ApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。...Spark是一种与Hadoop相似的开源集群计算环境，但是两者之间还存
- 没有解决我的问题, 去提问
