在使用binaryFile加载二进制文件之后,得到的是包含[String,PortableDataStream]的pair的RDD。我继续对得到的RDD使用map,使用PortableDataStream的toArray方法得到二进制文件转换之后的Byte数组。有如下几个问题:
1,我该如何我该如何将这个Byte的数组按四个Byte合并为一个float?
2,这个portableDataStream是如何做到并行计算的?
3,生成的RDD如何保证如何存储为目标格式的HDFS文件格式,比如我要处理一张图片,调用savaAsTextFiles之后得到的是HDFS的文件格式,那么我在RDD中的数据是怎样的呢?
【提问】Spark使用binaryFile加载二进制文件,如何处理
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-