鲲鹏920如何准确测试双精度FLOPS性能？

Question

在使用鲲鹏920处理器进行双精度FLOPS性能测试时，常见问题是如何准确反映其浮点计算能力？由于鲲鹏920基于ARMv8架构，部分传统基准测试工具（如LINPACK）可能存在编译兼容性或指令优化不足的问题，导致测得的双精度性能偏低。此外，是否启用NUMA绑定、内存带宽瓶颈、频率动态调节及编译器优化等级（如-O3、-march=native）均显著影响测试结果。因此，如何配置系统环境、选择合适的测试工具（如HPL、STREAM结合自定义DGEMM测试），并确保CPU稳定运行在标称频率，成为获取准确双精度FLOPS的关键挑战。

Answer 1

一、鲲鹏920双精度FLOPS测试中的核心挑战与系统性优化路径

1. 架构特性与基准工具兼容性分析

鲲鹏920基于ARMv8-A架构，采用7nm工艺，支持64核、主频最高可达2.6GHz。其浮点单元支持双精度（DP）SIMD指令（如NEON with FP64），但传统x86平台广泛使用的LINPACK/HPL在移植过程中常因编译器后端优化不足而无法充分发挥硬件潜力。

• GNU GCC对ARMv8的-march=native支持有限，推荐使用华为开源的OpenEuler配套编译器或Arm Compiler for Linux（ACfL）
• HPL需链接针对鲲鹏优化的BLAS库，如OpenBLAS（已启用aarch64 dgemm优化）或华为自研的KML（Kunpeng Math Library）
• LINPACK原始版本未适配NUMA感知内存分配，易导致跨节点访问延迟升高

2. 系统环境配置关键参数表

配置项	推荐值	影响说明
CPU Scaling Governor	performance	防止动态降频影响峰值计算
Transparent Huge Pages	never	避免内存页抖动引入延迟
NUMA Binding	numactl --membind=0 --cpunodebind=0	确保内存与CPU同节点访问
Compiler Optimization	-O3 -march=armv8-a+fp16+rcpc -funroll-loops	启用FP64 SIMD及循环展开
BIOS Setting	Disable P-state throttling, Enable Turbo	保障持续高频运行
Memory Channel	均衡分布在所有通道	最大化内存带宽利用率
Process Affinity	taskset -c 0-7 ./hpl_bin	绑定至单个CCX-like簇减少跨die通信
Kernel Version	≥5.4 LTS with ARM SVE patches	支持更细粒度向量调度
Thermal Control	强制风冷/液冷维持<65°C	避免过热触发降频
Background Services	systemctl stop tuned; systemctl disable irqbalance	消除干扰进程

3. 测试工具选型与组合策略

单一工具难以全面反映真实性能，建议采用多维度测试框架：

1. HPL (High Performance Linpack)：标准TOP500基准，用于衡量整体DP性能，需配合HPL.dat调优矩阵规模N、分块大小NB等
2. STREAM Benchmark：评估内存带宽，判断是否为瓶颈（理想复制带宽应≥300 GB/s）
3. 自定义DGEMM微测例：通过Intel MKL-DNN风格代码验证GEMM内核效率

# 示例：编译优化命令
export CC=armclang
export CFLAGS="-O3 -mcpu=tsv110 -ffast-math -fopenmp"
make arch=Kunpeng target=hpl
    

4. NUMA拓扑感知与资源绑定流程图

graph TD
            A[读取numactl -H获取节点信息] --> B{是否多NUMA节点?}
            B -->|是| C[使用numactl绑定到单一节点]
            B -->|否| D[设置taskset固定CPU核心]
            C --> E[分配HPL进程与内存至同一node]
            D --> E
            E --> F[运行HPL并记录Gflops]
            F --> G[对比不同绑定策略下的性能差异]

5. 性能验证与归因分析方法论

当实测DP性能低于理论峰值（64核×2.6GHz×2 FMA/cycle = 332.8 GFLOPS/core ×64 ≈ 21.3 TFLOPS）时，应按以下顺序排查：

• 确认CPU频率锁定：使用turbostat或rdmsr监测实际运行频率
• 检查BLAS库是否启用AVX-512等效指令：objdump -d libopenblas.so | grep fmla
• 利用perf stat -e fp_arith_inst_retired.128b_packed_double统计实际FP64指令发射数
• 通过likwid-perfctr测量内存带宽占用率，判断是否受制于DRAM子系统
• 分析HPL输出日志中PFACT、NB、PMAP等参数是否最优
• 对比不同MPI实现（如OpenMPI vs Huawei MPI）在多节点扩展性表现
• 使用火焰图（flamegraph.pl）定位热点函数中的非计算开销
• 验证编译生成的汇编是否存在冗余load/store操作
• 测试小规模问题下IPC是否接近理论上限（约2.0）
• 结合ACPI log分析是否有thermal throttling事件发生