fio测试带宽大于实际物理带宽

Question

fio文件系统读写带宽大于盘实际物理通道带宽
使用fio工具对nvme盘进行文件系统读测试，实际得到的带宽为8338MiB/s (8743MB/s)，然而nvme盘物理通道是pcie Speed 16GT/s, Width x4，最高带宽为8GB/s，怎么解释呢
fio配置文件如下：

[global]
ioengine=libaio
direct=1
thread=1 
norandommap=1
randrepeat=0
directory=/mnt/ceresnvme
group_reporting
[1MSeqRead1650G]
bs=1M
rw=read
numjobs=2
iodepth=64
size=1650G
stonewall   #等先前的job执行完，再执行

Answer 1

引自免费微信小程序：皆我百晓生

面对fio测试结果与物理带宽不匹配的情况，有几点因素需要考虑，这些因素可能解释了为什么fio报告的带宽高于NVMe盘的物理PCIe通道带宽：

1. 测试环境中的并行性

在多核处理器的环境中，通过并行处理可以实现超过单个通道理论上限的性能。在你提供的fio配置中，numjobs=2指定了两个并行的作业，这使得即使每个NVMe通道单独不能达到8GB/s，但两个通道或多个核心上的I/O操作并行执行时，总体吞吐量可以超过单一通道的限制。

2. 缓存效应

操作系统缓存和存储设备的内部缓存机制可能会显著提升读取速度。尤其是在读取操作中，数据可能已经被缓存在RAM或其他高速缓存中，而不是直接从物理介质读取，这导致实际测得的读取速度远高于物理介质的速度。

3. 文件系统的优化

现代文件系统（如ext4、XFS）和存储控制器在处理连续大块数据读取时，会利用预读和缓存策略，从而提高数据传输效率。这可能导致fio测试的带宽比预期更高。

4. PCIe链路聚合

虽然单个NVMe盘的PCIe链路带宽有限，但在某些情况下，多个NVMe盘可以共享一个或多个PCIe根端口，通过链路聚合技术实现更高的总带宽。

解决方案建议

为了更准确地理解你的测试结果，建议尝试以下步骤：

• 修改fio参数：将numjobs设为1，减少并行度，观察是否仍然超出物理带宽。
• 禁用缓存：在fio命令中添加cache=writearound选项，以绕过文件系统缓存，直接读写磁盘。
• 检查预读设置：查看文件系统的预读设置，例如对于ext4，可以通过tune2fs -l /dev/sdX | grep "Default read-ahead"检查。调整预读值可能会影响测试结果。
• 分析I/O路径：使用iotop或blktrace等工具监控I/O操作，确认数据流是否如预期那样直接从物理磁盘读取，而非缓存。
• 硬件检查：确认NVMe盘是否确实仅限于PCIe x4接口，以及是否有其他可能影响性能的因素，如电源管理设置。

通过上述步骤，你可能能更深入地理解fio测试结果背后的原因，并确定是否真的存在超出物理带宽的现象，还是测试条件下的特定优化所致。

示例fio命令修改

[global]
ioengine=libaio
direct=1
thread=1 
norandommap=1
randrepeat=0
directory=/mnt/ceresnvme
group_reporting
[1MSeqRead1650G]
bs=1M
rw=read
numjobs=1  # 修改此行
iodepth=64
size=1650G
cache=writearound  # 添加此行
stonewall

结论

通过逐步排除和调整测试参数，你应该能更好地定位问题所在，理解测试结果的真实含义。