沙漏261 2022-09-20 18:51 采纳率: 0%
浏览 167

jupyter notebook 中 SPARK_HOME env没有正确被加载

问题遇到的现象和发生背景

在jupyter notebook 中运行
import findspark
findspark.init()
出现报错:Couldn't find Spark, make sure SPARK_HOME env is set or Spark is in an expected location (e.g. from homebrew installation)

用代码块功能插入代码,请勿粘贴截图
import findspark
findspark.init()

运行结果及报错内容

Couldn't find Spark, make sure SPARK_HOME env is set or Spark is in an expected location (e.g. from homebrew installation)

我想要达到的结果

正确运行,不出现 SPARK_HOME env设置和路径位置的报错

  • 写回答

1条回答 默认 最新

  • Elwin Wong 2022-09-20 18:56
    关注

    一般我会在一开始设置好SPARK_HOME环境变量:

    import os
    
    os.environ['SPARK_HOME'] = /path/to/your/spark
    os.environ['PYSPARK_PYTHON'] = /path/to/pyspark虚拟环境的python解释器
    os.environ['PYSPARK_DRIVER_PYTHON'] = /path/to/pyspark虚拟环境的python解释器
    
    评论 编辑记录

    报告相同问题?

    问题事件

    • 创建了问题 9月20日

    悬赏问题

    • ¥15 pythont数据写进DataFrame时候出现错误
    • ¥30 如何处理shell命令接收到的视频流并实时播放出来
    • ¥15 虚心请教C#的代码优化问题
    • ¥15 有偿求做台风过境全过程模拟仿真
    • ¥50 求!AutomationDesk 如何自动导入Variant数据
    • ¥20 Next.JS 静态导出路由
    • ¥15 我做一个对中文文本情感分析的项目 我用了CNN,和keras框架 报的错误我一直处理不好
    • ¥15 unity使用bakery打光烘焙所遇到的问题。
    • ¥99 二维有限元方法求解,泊松方程
    • ¥15 我需要在PC端 开两个抖店工作台客户端.(语言-java)