一个程序,可能同时打开几千甚至上万个文件写到HDFS文件系统里面,如果顺序来写的话,完全无法得到分布式文件系统的好处。但我没看到HDFS API里有异步写的接口。
当然可能用线程来实现并发,但同时开几千个线程,恐怕操作系统受不了吧。
收起
当前问题酬金
¥ 0 (可追加 ¥500)
支付方式
扫码支付
支付金额 15 元
提供问题酬金的用户不参与问题酬金结算和分配
支付即为同意 《付费问题酬金结算规则》
分布式Spark可以直接对HDFS进行数据的读写,同样支持Spark on...和Hive的兼容性
报告相同问题?