5herhom 2019-06-28 16:35 采纳率: 25%
浏览 398
已结题

请问诸如k-means等大数据分析，在spark上的读取机制以及如何进行存储部署的？

一个问题是，spark在读取数据的时候，是逐条读入内存，还是分块读入，或者是一口气全部读入内存的？另一个问题是，如果数据保存在sql数据库中，那么所需要读取的数据，是直接通过SparkContext绑定sql地址和语句，通过网络传输；还是提前从sql中生成excel文件，放到spark服务器的文件夹中进行处理？

  • 写回答

1条回答 默认 最新

  • threenewbee 2019-06-28 17:08
    关注

    主要的性能开销在cpu，spark只是一个分布式框架，具体怎么计算要你自己去做。建议你用sklearn之类的机器学习的框架，而不是直接用spark

    评论

报告相同问题？