机器CPU、iops、内存不变的情形下,存储的数据量大小是否会影响IO呢?
最近碰到一个问题,发现20TB的服务器存储性能差了很多;然后网上查各种资料,并没有找到类似的性能影响曲线或权威的说明;大概仅知道存储数据量越大时,寻道时间越长(猜测)。
- 普通硬盘,不是ssd,不是nas
- 实际存储4000W个文件量+;
- 海量小文件存储,不涉及数据库;现象是两台30TB的服务器之间数据传输缓慢,40GB的数据量需要18个小时;
机器CPU、iops、内存不变的情形下,存储的数据量大小是否会影响IO呢?
最近碰到一个问题,发现20TB的服务器存储性能差了很多;然后网上查各种资料,并没有找到类似的性能影响曲线或权威的说明;大概仅知道存储数据量越大时,寻道时间越长(猜测)。
存储数据量越大时,寻道时间越长
没有这个说法,机械硬盘的寻道时间是固定的。
如果你有100TB数据,单个硬盘肯定没有那么大容量,那么你用阵列吧,用阵列只会提高性能。
但是数据量大,对于没有索引的查询来说,性能会下降,这是因为它需要全表扫描才能获取所有匹配的记录。
海量小文件,建议采用blob存储,而不是丢文件系统。