python运行pyspark报错winerror2系统无法找到指定文件

Question

python运行pyspark报错winerror2系统无法找到指定文件，我试了一下，报错就是在sc = SparkContext(conf=conf)语句报错，环境变量我也找了资料补充了，但就是运行不了，就是一个最基础的代码，python是我重新安装过的，没重新安装前是可以运行的，然后中间又安装过anaconda，也不行就又重新装了python，然后就都不行了，各种帖子的方法都试过了不知道该怎么解决了，不知道是不是环境变量的问题，但在没有删过之前，也是按照贴纸的环境变量设置的，是能正常运行的，但现在看不懂怎么搞了，有没有大佬来指点一下呀，提前谢谢大佬。

# 导包
from pyspark import SparkConf,SparkContext
# 创建SparkConf类对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")
# 基于SparkConf类对象创建SparkContext对象
sc = SparkContext(conf=conf)
# 打印PySpark的运行版本
print(sc.version)
# 停止SparkContext对象的运行(运行PySpark程序)
sc.stop()

然后报错的内容是下面这样的

Traceback (most recent call last):
  File "D:\pycharm\pythonProject2\第三阶段\py_spark\spark基础.py", line 11, in <module>
    sc = SparkContext(conf=conf)
         ^^^^^^^^^^^^^^^^^^^^^^^
  File "D:\ProgramData\anaconda3\Lib\site-packages\pyspark\context.py", line 195, in __init__
    SparkContext._ensure_initialized(self, gateway=gateway, conf=conf)
  File "D:\ProgramData\anaconda3\Lib\site-packages\pyspark\context.py", line 417, in _ensure_initialized
    SparkContext._gateway = gateway or launch_gateway(conf)
                                       ^^^^^^^^^^^^^^^^^^^^
  File "D:\ProgramData\anaconda3\Lib\site-packages\pyspark\java_gateway.py", line 99, in launch_gateway
    proc = Popen(command, **popen_kwargs)
           ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
  File "D:\ProgramData\anaconda3\Lib\subprocess.py", line 1026, in __init__
    self._execute_child(args, executable, preexec_fn, close_fds,
  File "D:\ProgramData\anaconda3\Lib\subprocess.py", line 1538, in _execute_child
    hp, ht, pid, tid = _winapi.CreateProcess(executable, args,
                       ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
FileNotFoundError: [WinError 2] 系统找不到指定的文件。

Process finished with exit code 1

Answer 1

晚上好🌙🌙🌙
本答案参考ChatGPT-3.5

这个错误是在sc = SparkContext(conf=conf)这行出现的。"winerror2"表示Windows系统不能找到给定的文件。 要解决这个问题，首先需要确保你的Python和Anaconda都是在同一台机器上运行的，并且这两个程序都在当前目录下。如果没有问题，你可以尝试在命令行中执行以下步骤：

1. 首先，在你的命令提示符中输入以下命令来检查系统的Python是否已经安装：

   python --version
   

   如果您的Python版本不正确，您可能需要更新它。你可以通过运行以下命令来完成这个操作：

   pip install python
   

2. 如果您的 Anaconda 不在同一台计算机上，你需要下载一个正确的安装包并将其添加到您的环境变量中。你可以在Anaconda的官方网站上找到详细的安装指南。

3. 在命令行中，您可以使用sc = SparkContext()方法来启动一个新的SparkContext实例。如果你遇到“winerror2”，你可以试着更改Python和Anaconda的路径，或者使用os.environ["PATH"]将它们更改为相同的位置。

以下是完整的代码修改示例：

import os

def change_path():
    os.environ['PYTHONPATH'] = '/path/to/your/python'

change_path()

在这个例子中，我们将环境变量中的Python路径更改为'/path/to/your/python'。你应该能够成功地运行你的Python应用程序。