各位大神跪求lzo-hadoop.jar支持hadoop-2.6版本的，或者是解决方法，本人想要用spark读取hdfs中*.lzo格式的压缩文件，
但是当前lzo-hadoop.jar包只支持hadoop-1.2.1，跪求解决办法!很急在线等！！！！
邮箱island_lonely@163.com
spark读取hdfs中lzo文件时hadoop版本冲突
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答
- 2021-08-03 17:06回答 2 已采纳 先看看hadoop集群有没有正常开启，检查hdfs路径有没有问题
- 2022-10-09 17:22回答 1 已采纳 可以考虑换个目录试一下 比如：hdfs dfs -put /usr/local/spark/README.MD /
- 2021-11-15 16:27回答 1 已采纳 默认为用户的home目录 home目录的默认路径为 /user， 根据配置项（dfs.user.home.dir.prefix）决定而用户（非kerberos的情况下）， 则是根据 环境变量HADOO
- 2022-02-11 10:33春_的博客 为了解决，下数据日益增长并且目前使用Snappy压缩导致的Spark读取时会出现OOM，并且处理起来速度过慢的问题，决定使用LZO+Index来解决问题。 线上Hadoop版本3.2.1，Spark2.3.1，Lzo使用最新版0.4.21 2.安装lzop sudo...
- 2021-11-16 21:09回答 1 已采纳 你的core-site.xml 配置文件错了你没有生成log和hadooptmp，删了重配我前几天写了一个脚本，你可以借鉴一下
- 2022-08-15 11:47回答 6 已采纳 信息不足不是很好判断，找了下源码，报错的方法如下： /** Read the block length from one of the datanodes. */ private long rea
- 2022-10-04 19:13回答 1 已采纳 不是没有反应，而是目录下没有文件，所以ls后没有内容可以显示，可以试试ls /
- 2019-10-09 14:37烟鬼来zzz的博客 sparkContextManager.setSparkConf("spark.serializer", "org.apache.spark.serializer.KryoSerializer"); sparkContextManager.setSparkConf("io.compression.codecs", "org.apache.hadoop.io.compress.DefaultCod....
- 2022-01-04 19:58回答 3 已采纳 单机版的不可缺少namenode和datanode,如果是集群，只要保证一台有namenode即可，建议将所有的进程全部停掉，然后从新启动，可以使用start-all.sh，当然分开的话也可以使用st
- 2015-07-23 08:15回答 2 已采纳 spark-src中的pom.xml里有一个protibuf.version属性为2.4.1 而hadoop用的2.5.0修改后重新编译好用
- 2022-06-18 15:45回答 1 已采纳 你第一个图是HDFS目录，第二个是服务器磁盘目录。你上传文件是到服务器磁盘，直接拖进去就行上传都HDFS要要服务器磁盘上用Hadoop fs -put 磁盘文件 HDFS目录 来上传文件
- 2024-04-17 09:12NBA首席形象大使阿坤的博客 无伤通关Spark/Hadoop读取Lzo文件[狗头]
- 2023-03-15 15:46回答 1 已采纳 这篇文章：spark 运行自带样例SparkPi、spark-examples报错 也许有你想要的答案，你可以看看
- 2021-11-19 14:41春_的博客 因为snappy不能split切片，也就会导致一个文件将会由一个task来读取，读取后解压，数据又会膨胀好多倍，如果文件数太大而且你的并行度也挺大，就会导致大量full gc，最终OOM 因为前人实现的，不太好改，为了程序能...
- 2018-01-10 21:31AbnerSunYH的博客 Spark 读/写 lzo 文件 pairRDD 具体代码 Java SparkConf conf = new SparkConf().setMaster("local").setAppName("CheckLog"); JavaSparkContext sc = new JavaSparkContext(conf); org.apache.hadoop.conf.
- 没有解决我的问题, 去提问
