基础小农 2023-04-20 12:45 采纳率: 50%
浏览 35
已结题

关于独立应用程序的问题如何解决

编写独立应用程序实现数据去重
对于两个输入文件A和B，编写Spark独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件R。
已经创建好A.txt和B.txt
下面是创建R.py的

img


输入python3 R.py后

img


对于

```scala
from spark import SparkContex

```t出现ModuleNotFoundError: No module named 'pyspark'的问题
求解

  • 写回答

2条回答 默认 最新

  • AllenGd 大数据领域优质创作者 2023-04-20 17:09
    关注

    由于pyspark不在python的环境变量下，将资源的目录配置到python的环境变量下即可。
    例如：export PYTHONPATH=${SPARK_HOME}/python:${SPARK_HOME}/python/pyspark.zip:${SPARK_HOME}/python/lib/py4j-0.10.8.1-src.zip:$PYTHONPATH

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

问题事件

  • 系统已结题 4月28日
  • 已采纳回答 4月20日
  • 创建了问题 4月20日

悬赏问题

  • ¥15 微信会员卡等级和折扣规则
  • ¥15 微信公众平台自制会员卡可以通过收款码收款码收款进行自动积分吗
  • ¥15 随身WiFi网络灯亮但是没有网络，如何解决？
  • ¥15 gdf格式的脑电数据如何处理matlab
  • ¥20 重新写的代码替换了之后运行hbuliderx就这样了
  • ¥100 监控抖音用户作品更新可以微信公众号提醒
  • ¥15 UE5 如何可以不渲染HDRIBackdrop背景
  • ¥70 2048小游戏毕设项目
  • ¥20 mysql架构，按照姓名分表
  • ¥15 MATLAB实现区间[a,b]上的Gauss-Legendre积分