一个问题是,spark在读取数据的时候,是逐条读入内存,还是分块读入,或者是一口气全部读入内存的?另一个问题是,如果数据保存在sql数据库中,那么所需要读取的数据,是直接通过SparkContext绑定sql地址和语句,通过网络传输;还是提前从sql中生成excel文件,放到spark服务器的文件夹中进行处理?
1条回答 默认 最新
- threenewbee 2019-06-28 17:08关注
主要的性能开销在cpu,spark只是一个分布式框架,具体怎么计算要你自己去做。建议你用sklearn之类的机器学习的框架,而不是直接用spark
解决 无用评论 打赏 举报
悬赏问题
- ¥100 Jenkins自动化部署—悬赏100元
- ¥15 关于#python#的问题:求帮写python代码
- ¥20 MATLAB画图图形出现上下震荡的线条
- ¥15 关于#windows#的问题:怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘
- ¥15 perl MISA分析p3_in脚本出错
- ¥15 k8s部署jupyterlab,jupyterlab保存不了文件
- ¥15 ubuntu虚拟机打包apk错误
- ¥199 rust编程架构设计的方案 有偿
- ¥15 回答4f系统的像差计算
- ¥15 java如何提取出pdf里的文字?