spark-shell --master spark://ip:7337 的方式运行
报错 readerIndex(5) + length(799024) exceeds writerIndex(176) : UNpooledUnsafeDir
(cdh集群的端口是7337没毛病，经常用的7077报错拒绝连接，可以排除端口问题)
现在提交spark-submit脚本运行standalone模式也是报同样的错，yarn模式没问题，百度谷歌无果，望大神们帮忙解决下！
spark-shell --master spark://ip:7337 的方式运行 报错
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答
- 2022-10-09 17:22回答 1 已采纳 可以考虑换个目录试一下 比如：hdfs dfs -put /usr/local/spark/README.MD /
- 2021-08-03 17:06回答 2 已采纳 先看看hadoop集群有没有正常开启，检查hdfs路径有没有问题
- 2021-07-16 08:59回答 1 已采纳 第一种：是spark节点的内存满了，加大执行内存，内存可以在spark的配置文件—>spark-env.sh中可以看到。这个配置文件路径在：/usr/local/spark-2.4.0-bin-
- 2021-01-20 12:1320/02/20 19:52:17 ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the...
- 2022-12-15 15:54
Spark 读取 Hive 数据报错 NoSuchMethodError : org.apache.spark.sql.catalyst.catalog.SessionCatalog
hive
spark
大数据
回答 1 已采纳 22/12/15 15:32:44 INFO SparkContext: Invoking stop() from shutdown hook集群资源不足，且动态资源分配申请的executors、内存 - 2022-05-17 10:42回答 1 已采纳 target字段转数字失败，你看一下数据对应的该字段是不是有非数字的值
- 2022-10-16 15:59回答 1 已采纳 这里提示的是你的spark里边的配置文件spark-env.sh 里边的hadoop路径写错了 这里应该是在hadop-2.7.5/etc/hadoop还有就是你的scala的路径也写错了，你在检查
- 海若[MATRIX]的博客 执行spark-shell报错 [root@hadoop101 conf]# spark-shell 2.报错 Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel). 2020-...
- 2022-09-16 19:01回答 1 已采纳 因为spark是计算引擎，你是将你的代码提交到spark上运行，不是运行spark程序
- 2018-05-08 10:49回答 1 已采纳 可以试试hadoop jar xxx(main)
- 2022-09-21 19:05回答 2 已采纳 spark基本数据处理之推荐数据movielens_小李飞刀李寻欢的博客-CSDN博客
- 2021-05-19 10:04hzp666的博客 1.spark提供了交互式接口 spark-shell spark-shell 实现了用户可以逐行输入代码，进行操作的功能。 即可以不像Java一样，编写完所有代码，然后编译才能运行 spark-shell 支持 Scala交互环境 和 python交互环境 在...
- 2021-09-28 16:58回答 2 已采纳 该问题由hive与spark两者版本不兼容导致的，具体的解释，在官网是有说明的：Hive on Spark is only tested with a specific version of Spar
- 2020-02-20 16:37qq_34072169的博客 20/02/20 19:52:17 ERROR spark.SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using t.....
- 2019-02-24 13:56kangker的博客 ①spark standalone模式无法启动，连接master失败，...②spark-shell on yarn启动时，无法创建sc。 原因：通过hadoop104:8080查看master节点时，master节点的状态为standby，说明集群中目前没有master提供服务。 ...
- 没有解决我的问题, 去提问
悬赏问题
- ¥20 simulink中怎么使用solve函数？
- ¥30 dspbuilder中使用signalcompiler时报错Error during compilation: Fitter failed，求解决办法
- ¥15 gwas 分析-数据质控之过滤稀有突变中出现的问题
- ¥15 没有注册类 (异常来自 HRESULT: 0x80040154 (REGDB_E_CLASSNOTREG))
- ¥15 知识蒸馏实战博客问题
- ¥15 用PLC设计纸袋糊底机送料系统
- ¥15 simulink仿真中dtc控制永磁同步电机如何控制开关频率
- ¥15 用C语言输入方程怎么
- ¥15 网站显示不安全连接问题
- ¥15 51单片机显示器问题