pyspark远程解释器报错

Question

用python做spark集群项目的时候,远程解释器运行,报错 AttributeError: module 'pyspark.rdd' has no attribute 'V'
用本地解释器好使,把代码提交到集群运行也好使,就是在本地远程集群解释器时候报错.请问该怎么解决

Answer 1

因为spark的分布机器里没有该python环境，最好先把python打包，然后用spark-submit --py-files将python包分发至各机器，然后命令的python用相对路径就行了。