• 全部
  • 关注
  • 有问必答
  • 等你来答

排行榜

  • 用户榜
  • 标签榜
  • 冲榜分奖金

频道

  • 编程语言
  • 前端
  • Java
  • Python
  • 大数据
  • 人工智能
  • 数据结构与算法
  • 嵌入式
  • 其他
  • 运维
  • 网络
  • 服务器
  • 移动开发
  • 后端
  • 开发工具
  • 微软技术
  • 硬件开发
  • 游戏
  • 吐槽问答
  • 测试
  • 小程序
  • 高考
  • PHP
  • 安全
  • 云计算
  • 开放平台
  • 软件工程
  • 设计
  • 职场和发展
  • 区块链
  • 多彩生活
  • 产品/运营
  • HarmonyOS
  • 搜索
  • 设计模式
最新最热精华悬赏待回答 筛选
  • 0

    回答

关于#spark#的问题：在pyspark配置时，环境变量PYSPARK PYTHON

在pyspark配置时，环境变量PYSPARK PYTHON:表示Spark想运行Python程序，那么去哪里找python解释器（执行器）),此时该值配置为root/anaconda.3/envs/

回答 不配当渣渣
采纳率60%
  • 1

    回答

hadoop和大数据、spark的关系该怎么理解？

hadoop、大数据、spark之间的关系该如何理解？对于基础入门的小伙伴很多概念之间的关系可能很难快速理解清楚，那么如果能用简单通俗的语言说清楚这三者之间的关系？

回答 Alluxio
采纳率0%
  • 1

    回答

windows上hadoop3.2.2hive3.1.2更换spark引擎后内存不足，有没有办法解决这个问题，如何解决？

windows上hadoop3.2.2hive3.1.2更换spark引擎后内存不足，有没有办法解决这个问题

河北不知名小趴菜
采纳率68%
  • 1

    回答

spark executor cpu超出限制

hive on spark 单个executor占用cpu超过上限 如图 该execouter实际占用cpu快占到了100多个 但提交的参数限制了executor core为4

回答 欢宥铭
采纳率25%
  • 1

    回答

windows下运行spark程序报错

windows下运行spark程序直接报这个错误，希望各位能给我指点一下

  • spark
  • 4
  • 2022-06-08 20:03
回答 @ZTT
采纳率50%
  • 3

spark hadoop 怎么多人协作开发？

最近有个大数据mession，豆瓣读书分析什么的。需要小组合作开发，想问下怎么能使用同一个hdfs或者hadoop 自己有个云服务器 能用上吗 或者需要怎么搭建环境，小组成员能一起用得上

qq_45866015
采纳率88.9%
  • 1

大数据方面的 MaydayMayday

旧旧鼠鼠吧 鼠鼠一点没听 不会啊 求一个精英帮我做了解决完还有重金答谢 什么都好商量 裘裘了

猪蹄儿炖萝北
采纳率100%
  • 1

    回答

spark集群启动失败

hadoop集群可以启动，跟着黑马的课程来的结果最后spark集群就是启动失败，显示java连接不上

我的心事不在脸上
采纳率75%
  • 1

spark中创建RDD有关问题

RDD中的conf.setAppName（“”）里面填的东西和一开始创建的文件有关吗，还是可以随便填。conf.setMaster（“”）里面填的东西是必须要填local这类，还是它和什么东西有关。

  • spark
  • 24
  • 2022-06-03 20:23
m0_59310180
采纳率100%
  • 3

spark on yarn 问题

请求帮帮忙！spark on yarn 无法启动最近在学习spark on yarn 内容，用 ./pyspark --master yarn 无法启动，总是报错：ERROR spark.SparkC

  • ¥5
  • spark
  • 44
  • 2022-05-30 02:37
guodu1223
采纳率100%
  • 1

    回答

sparkSQL连接数据库报空指针异常

sparkSql运行jdbc方法连接数据库报错空指针异常 调用下图spark.read.jdbc方法的时候报错java.lang.NullPointerException 报错： 运行任务时将传

回答 FishEnergy
采纳率0%
  • 1

    回答

安装spark中的问题

命令：bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://hadoop102:8088 ./exam

  • spark
  • 17
  • 2022-05-23 11:39
回答 ?Qll
采纳率66.7%
  • 1

    回答

刚搭建好的测试环境提交spark no yarn 任务报如下错误有解决方法吗？

Exception in thread "main" java.lang.AbstractMethodError: org.apache.hadoop.hdfs.server.namenode.ha.

尘世壹俗人
采纳率40%
  • 3

hive on spark 打开文件过多错误

刚开始没事，执行hive sql 没一会就会出现错误，这时候重启hivesever2就好了，过一段时间有出现。log如下： 764913 2022-05-20 03:29:38,807 Log4j2

andyonlines
采纳率50%
  • 1

求解答：如何使用sparksql进行模糊查询？

想把顶层，地下室，底层，中楼层，高楼层分别groupby.count( ) 但是因为括号里的东西 不知道怎么把他们进行分类 模糊查询怎么查呢 求解答

打假小队
采纳率50%
  • 1

    回答

关于转行，有没有朋友帮助解解困惑

本人从传统数据开发转行大数据，以为可以摆脱枯燥的CRUD，但是发现大数据最终也逃不开CRUD的命运。另外零基础转行压力比较大，心态绷不住了，有没有过来人指点下该怎么调节？

  • spark
  • 13
  • 2022-05-18 17:45
回答 qiansirFCC
采纳率0%
  • 2

    回答

为啥我的idea运行不出来

我这个idea不知道哪个出错了，对了一下代码好像没错的，数据库里面的也写了，就是运行不出结果

回答 m0_71025179
采纳率0%
  • 1

Spark实验统计信息缺失个数报错，如何解决？(语言-scala)

在进行学校Spark实验时，加载数据后统计信息缺失个数报错 抓取日志如下 22/05/16 22:23:45 WARN scheduler.TaskSetManager: Lost task 0.0

Filmenler
采纳率100%
  • 1

刚搭建好的测试环境提交spark no yarn 任务报如下错误，有人遇到过吗

Exception in thread "main" java.lang.AbstractMethodError: org.apache.hadoop.hdfs.server.namenode.ha.

尘世壹俗人
采纳率40%
  • 1

    回答

在做增添数据练习，出现了这种情况怎么办？

做spark练习碰到了图片的情况，也没懂是个什么问题，应该怎么改

回答 取个名字真难啊！
采纳率0%
  • 1

    回答

Dataret没有sortBy方法怎么解决

我的代码是import org.apache.spark.sql.hive.HiveContextval hiveCtx = new org.apache.spark.sql.hive.HiveCon

  • spark
  • 15
  • 2022-05-13 15:21
回答 j16168527
采纳率0%
  • 1

Xshell中txt中的中文大小不一，spark横线不全

Xshell在txt格式写入中文出现大小不一的情况，同时spark的横线不全 locale正常 终端正常 字体 虚拟机正常如何解决Xshell中txt编写中文是大小不一的和spark横线不全

指上菁芜666
采纳率50%
  • 1

spark求部门年龄的平均值

想问问这些代码都是什么意思啊，还有它运行出来的错误怎么解决啊，找了好多文章都没看懂

  • spark
  • 14
  • 2022-05-12 13:28
qq_56896567
采纳率33.3%
  • 1

    回答

window下安装spark，无法执行spark-shell

如题，win下安装spark，无法执行spark-shell。path全都进行了配置。hadoop，java以及scala都是可以正常使用的。

回答 zero骑士
采纳率55.6%
  • 2

    回答

Window下的Pycharm使用Ubuntu中的Python解释器用plt画出来的图在X轴和图例中文乱码

Window下的Pycharm19专业版使用Ubuntu中的Python解释器用plt画出来的图在X轴和图例中文乱码怎么解决呢？有没有人晓得

回答 Super_Venom
采纳率0%
  • 1

    回答

cdh添加spark-sql后遇到问题

执行spark-sql --master local 请教：ERROR spark.SparkContext: Error initializing SparkContext.org.apache.s

  • spark
  • 70
  • 2022-05-07 11:16
回答 _流_年_
采纳率0%
  • 1

关于#spark#的问题，请各位专家解答！

为什么我的x[3]是数字啊？求解求解！文件里边的x[3]是性别啊，是文字。难不成是因为没有类型转换吗？请大家给我解答一下吧。谢谢大家啦先

  • spark
  • 9
  • 2022-05-06 22:38
PURE1234..
采纳率100%
  • 1

    回答

spark-sql不能正常开启

怎么解决spark-sql打不开，弄了好久尝试了好多方法都打不开

  • spark
  • 4
  • 2022-05-02 14:07
回答 8023825
采纳率0%
  • 1

    回答

spark在centos7.6桌面版64系统，软件全部安装，启动spark报错failed to launch:nice -n 0 spark-class bin/spark-class

问题遇到的现象和发生背景 failed to launch:nice -n 0 spark-class bin/spark-class org.apche.spark.deploy.master.Ma

  • spark
  • 16
  • 2022-05-01 20:45
zuzhilong2010
  • 1

pyspark报错，'DataFrame' object has no attribute '_jdf'

dataZscore： dataZscore = (dataTransformed - dataTransformed.mean(axis=0)) /dataTransformed.std(axis

你好呀，汪同学！
采纳率93.3%