岑梓铭 2024-12-21 16:42 采纳率: 66.7%
浏览 6
已结题

centOs的node1的用conda创建pyspark虚拟环境遇到的灵异事件

最近在跟着黑马视频配置我的centOs的node1的要pyspark环境,我用anaconda创建虚拟环境的时候一直报错,已经用尽了所有网上任何一篇文章的办法,永远解决不了,灵异事件

img

img

img

连ping网络也有错

img

img

这是我vim ~/.condarc配置的镜像源代码,问了ai也没错,而且是复制网上的

channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  - defaults

show_channel_urls: true

default_channels:
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r/
  - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/msys2/

custom_channels:
  conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
  bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
  menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/
  pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
  pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch-lts/
  simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/simpleitk/
  deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/deepmodeling/


  • 写回答

2条回答 默认 最新

  • 道友老李 JWE233286一种基于机器视觉的水表指针读数识别及修正的方法 专利发明者 2024-12-21 17:01
    关注
    让【道友老李】来帮你解答,本回答参考通义千问大模型编写,并整理提供,如果还有疑问可以点击头像关注私信或评论。
    如果答案让您满意,请采纳、关注,非常感谢!
    ### 问题分析与解决方案

    根据你提供的信息,你在配置 CentOS 上的 Anaconda 虚拟环境时遇到了多个问题。具体表现为:

    1. Anaconda 创建虚拟环境报错
    2. 网络连接问题(ping 不通)
    3. 配置 .condarc 文件后仍然无法解决问题

    我们将逐一分析这些问题,并提供详细的解决方案。


    1. 网络连接问题

    从你提供的截图来看,ping 命令无法正常工作,这可能是导致 Anaconda 下载包失败的根本原因。我们需要先确保系统的网络连接是正常的。

    检查网络配置

    • 检查网络接口是否启用

      ip addr show
      

      确保你的网卡处于 UP 状态,并且有正确的 IP 地址分配。

    • 检查 DNS 配置: 编辑 /etc/resolv.conf 文件,确保里面有有效的 DNS 服务器地址。例如:

      nameserver 8.8.8.8
      nameserver 8.8.4.4
      
    • 测试 DNS 解析: 使用 nslookupdig 命令来测试域名解析是否正常:

      nslookup mirrors.tuna.tsinghua.edu.cn
      
    • 防火墙或安全组设置: 如果你在云服务器上运行 CentOS,确保防火墙或安全组允许出站流量。可以临时关闭防火墙进行测试:

      sudo systemctl stop firewalld
      

    检查代理设置

    如果你在使用代理服务器,确保 Anaconda 和其他工具正确配置了代理。可以在 .condarc 中添加代理配置:

    proxy_servers:
      http: http://your-proxy-server:port
      https: https://your-proxy-server:port
    

    2. Anaconda 创建虚拟环境报错

    在解决了网络问题后,我们再来处理 Anaconda 创建虚拟环境的问题。

    检查 .condarc 文件格式

    你提供的 .condarc 文件中存在一些格式问题。特别是 URL 中的 <span> 标签显然是错误的。请确保文件内容如下所示:

    channels:
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r/
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
      - defaults
    
    show_channel_urls: true
    
    default_channels:
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
      - https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/r/
    
    custom_channels:
      conda-forge: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
      msys2: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
      bioconda: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
      menpo: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/menpo/
      pytorch: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
      pytorch-lts: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch-lts/
      simpleitk: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/simpleitk/
      deepmodeling: https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/deepmodeling/
    

    清理缓存并重新尝试

    有时 Anaconda 的缓存可能会导致问题。你可以尝试清理缓存后再创建虚拟环境:

    conda clean --all
    conda create --name myenv python=3.8
    

    更新 Anaconda

    确保你使用的是最新版本的 Anaconda 或 Miniconda:

    conda update conda
    conda update anaconda
    

    3. PySpark 环境配置

    假设你已经成功创建了虚拟环境,接下来需要安装 PySpark。

    安装 PySpark

    进入你创建的虚拟环境并安装 PySpark:

    conda activate myenv
    conda install pyspark
    

    或者使用 pip 安装:

    pip install pyspark
    

    验证 PySpark 安装

    启动 Python 并验证 PySpark 是否安装成功:

    from pyspark import SparkContext
    sc = SparkContext("local", "Test App")
    print(sc.version)
    sc.stop()
    

    总结

    1. 优先解决网络问题:确保系统能够正常访问外部网络,包括 DNS 解析和 HTTP 请求。
    2. 修正 .condarc 文件格式:移除多余的 HTML 标签,确保 URL 正确无误。
    3. 清理缓存并更新 Anaconda:避免因缓存或旧版本导致的问题。
    4. 逐步安装依赖:先创建虚拟环境,再安装 PySpark 及其他依赖。

    通过以上步骤,你应该能够顺利配置好 PySpark 环境。如果仍有问题,请提供更多详细的错误日志以便进一步排查。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
    1人已打赏
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 12月29日
  • 已采纳回答 12月21日
  • 创建了问题 12月21日