我们有这样一个需求金融行业某项目,需要保存大量图片与视频及文件。
目标数据量是20T,200并发要求1分钟下载完100M的文件(带宽10M)。
有以下问题:
1.首先问hdfs是否适合保存图片、视频,其稳定性怎样?
2.服务器配置应该如何权衡,nameNode是不是得高CPU、高内存,dataNode是不是得高内存1万转的硬盘是否够用。
3.20T的需求需要陪物理硬盘多大容量,nameNode是否需要做热备?
4.nameNode与dataNode需要不需要做Raid,如果做的话做几?
5.我们团队没hadoop经验,只做图片视频文件保存读取,不知道上手快不快。有什么坑?
6.hadoop集群环境下,怎么监控。比如说硬盘坏了,怎么发现处理?