2 xjhw985077853 xjhw985077853 于 2014.12.06 10:31 提问

金融行业hadoop硬件方案咨询

我们有这样一个需求金融行业某项目,需要保存大量图片与视频及文件。
目标数据量是20T,200并发要求1分钟下载完100M的文件(带宽10M)。
有以下问题:

1.首先问hdfs是否适合保存图片、视频,其稳定性怎样?
2.服务器配置应该如何权衡,nameNode是不是得高CPU、高内存,dataNode是不是得高内存1万转的硬盘是否够用。
3.20T的需求需要陪物理硬盘多大容量,nameNode是否需要做热备?
4.nameNode与dataNode需要不需要做Raid,如果做的话做几?
5.我们团队没hadoop经验,只做图片视频文件保存读取,不知道上手快不快。有什么坑?
6.hadoop集群环境下,怎么监控。比如说硬盘坏了,怎么发现处理?

3个回答

devmiao
devmiao   Ds   Rxr 2014.12.06 13:46

最好使用云服务器,根据需要逐步增加,而避免空洞地估算造成实际使用的不足和浪费。云服务器的资源你可以想象是按需提供,无限量的。而且硬件软件故障维护也是自动化的。

zaqxsw_99999
zaqxsw_99999   2014.12.06 11:05

带宽10M1分钟内最大只能下载75M,带宽至少需要20M。

cjeq1
cjeq1   2014.12.08 16:49

每个Datanode节点周期性地向Namenode发送心跳信号。网络割裂可能导致一部分Datanode跟Namenode失去联系。Namenode通过心跳信号的缺失来检测这一情况,并将这些近期不再发送心跳信号Datanode标记为宕机,不会再将新的IO请求发给它们。任何存储在宕机Datanode上的数据将不再有效。Datanode的宕机可能会引起一些数据块的副本系数低于指定值,Namenode不断地检测这些需要复制的数据块,一旦发现就启动复制操作。

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!