code777ing
2015-07-23 08:15
采纳率: 50%
浏览 1.9k
已采纳

spark计算hdfs上的文件时报错

scala> val rdd = sc.textFile("hdfs://...")
scala> rdd.count
java.lang.VerifyError: class org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$AppendRequestProto overrides final method getUnknownFields.()Lcom/google/protobuf/UnknownFieldSet;

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

2条回答 默认 最新

  • code777ing 2015-07-24 08:12
    已采纳

    spark-src中的pom.xml里有一个protibuf.version属性为2.4.1
    而hadoop用的2.5.0修改后重新编译好用

    点赞 打赏 评论
  • sina_2831808769 2015-07-25 05:44

    spark-src中的pom.xml里有一个protibuf.version属性为2.4.1
    而hadoop用的2.5.0修改后重新编译好用

    点赞 打赏 评论

相关推荐 更多相似问题