code777ing 2015-07-23 08:15 采纳率: 50%
浏览 1884
已采纳

spark计算hdfs上的文件时报错

scala> val rdd = sc.textFile("hdfs://...")
scala> rdd.count
java.lang.VerifyError: class org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$AppendRequestProto overrides final method getUnknownFields.()Lcom/google/protobuf/UnknownFieldSet;

  • 写回答

2条回答 默认 最新

  • code777ing 2015-07-24 08:12
    关注

    spark-src中的pom.xml里有一个protibuf.version属性为2.4.1
    而hadoop用的2.5.0修改后重新编译好用

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

悬赏问题

  • ¥15 Qt下使用tcp获取数据的详细操作
  • ¥15 idea右下角设置编码是灰色的
  • ¥15 全志H618ROM新增分区
  • ¥15 在grasshopper里DrawViewportWires更改预览后，禁用电池仍然显示
  • ¥15 NAO机器人的录音程序保存问题
  • ¥15 C#读写EXCEL文件，不同编译
  • ¥15 MapReduce结果输出到HBase，一直连接不上MySQL
  • ¥15 扩散模型sd.webui使用时报错“Nonetype”
  • ¥15 stm32流水灯＋呼吸灯＋外部中断按键
  • ¥15 将二维数组，按照假设的规定，如0/1/0 == "4"，把对应列位置写成一个字符并打印输出该字符