oldpopsong 2015-05-24 16:19 采纳率: 0%
浏览 2069

HDFS能支持异步IO写来利用分布式的好处吗?

一个程序,可能同时打开几千甚至上万个文件写到HDFS文件系统里面,如果顺序来写的话,完全无法得到分布式文件系统的好处。但我没看到HDFS API里有异步写的接口。

当然可能用线程来实现并发,但同时开几千个线程,恐怕操作系统受不了吧。

  • 写回答

2条回答 默认 最新

  • qq_17124821 2015-05-24 16:28
    关注

    分布式Spark可以直接对HDFS进行数据的读写,同样支持Spark on...和Hive的兼容性

    评论

报告相同问题?

悬赏问题

  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥85 maple软件,solve求反函数,出现rootof怎么办?
  • ¥15 求chat4.0解答一道线性规划题,用lingo编程运行,第一问要求写出数学模型和lingo语言编程模型,第二问第三问解答就行,我的ddl要到了谁来求了
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名
  • ¥15 maple软件,用solve求反函数出现rootof,怎么办?
  • ¥65 汇编语言除法溢出问题
  • ¥15 Visual Studio问题
  • ¥20 求一个html代码,有偿
  • ¥100 关于使用MATLAB中copularnd函数的问题