大模型性能测试时，如何准确评估模型的推理延迟与吞吐量？

Question

在大模型性能测试中，如何平衡批量大小（Batch Size）以准确评估推理延迟与吞吐量是一个常见技术问题。较小的批量大小能更贴近实际单请求延迟，但可能低估模型的吞吐能力；而较大的批量大小虽能提升吞吐量评估准确性，却可能导致延迟指标失真。此外，不同硬件加速器对批量大小的优化敏感度各异，例如GPU通常在较大批量时表现更优，而TPU或专用AI芯片可能在固定范围内达到最佳性能。因此，在测试时需根据目标场景选择合适的批量大小范围，并结合多线程/多进程并发模拟真实流量模式，确保延迟与吞吐量评估结果既反映理论峰值，又贴合实际部署需求。