深度学习推理时间（Inference time）计算问题

Question

请问大家，深度学习模型的推理时间（Inference time ）是怎么计算的？是每个epoch运行的时间吗？还是每一个batchsize数据运行的时间？应该怎么理解？谢谢大家

Answer 1

推理的时候跟epoch无关，epoch是训练阶段的。
计算推理时间是在训练结束之后的事情，目前看情况，主流的有1个或者32个batch size的推理时间，不包含图像预处理（包括转到cuda）和后处理，模型加载（包括加载到GPU）和预热时间等，单单计算模型开始推理到推理结束的运行时间就是推理时间，