2 rfyzzyq rfyzzyq 于 2016.03.05 21:48 提问

【提问】Spark使用binaryFile加载二进制文件,如何处理

在使用binaryFile加载二进制文件之后,得到的是包含[String,PortableDataStream]的pair的RDD。我继续对得到的RDD使用map,使用PortableDataStream的toArray方法得到二进制文件转换之后的Byte数组。有如下几个问题:
1,我该如何我该如何将这个Byte的数组按四个Byte合并为一个float?
2,这个portableDataStream是如何做到并行计算的?
3,生成的RDD如何保证如何存储为目标格式的HDFS文件格式,比如我要处理一张图片,调用savaAsTextFiles之后得到的是HDFS的文件格式,那么我在RDD中的数据是怎样的呢?

2个回答

rfyzzyq
rfyzzyq   2016.03.05 21:58

楼主刚开始学spark还望各位高手指教指教~~~ ^_^

wgw880516
wgw880516   2016.04.15 14:31

请问楼主问题解决了吗?我最近也在做Spark处理图像文件,使用binaryFile加载后该如何处理呢?

rfyzzyq
rfyzzyq 我后面看了下加载之后的RDD里面有什么,得到的是[String,PortableDataStream],数据在后面的那个PortableDataStream里面,我用的他的方法toArray将转换为byte处理的
一年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!