请问,如何优化pytorch的模型预测速度

Namespace(backbone='resnet', batchSize=4, epoch_size=3, gpu_id='0', lr=1e-07, nAveGrad=1, nEpochs=100, nTestInterval=1, nThreads=1, phaseprediction='prediction', phasetest='test', phasetrain='train', resume_epoch=0, snapshot=3, testBatch=1, useTest=True, wd=0.0005)
------------ Options -------------
backbone: resnet
batchSize: 4
epoch_size: 3
gpu_id: 0
gpu_ids: [0]
lr: 1e-07
nAveGrad: 1
nEpochs: 100
nTestInterval: 1
nThreads: 1
phaseprediction: prediction
phasetest: test
phasetrain: train
resume_epoch: 0
snapshot: 3
testBatch: 1
useTest: True
wd: 0.0005
-------------- End ----------------
Constructing DeepLabv3+ model...
Number of classes: 2
Output stride: 16
Number of Input Channels: 3
这是相关的参数设置,gpu:为2080ti,cuda:10.0
预测单张图片(1024*768)的速度很慢,要7-10s,有什么方法可以缩短时间到1-2s

2个回答

lr=1e-07,
在不影响学习效果的情况下,学习率可以高一点
如果gpu负载低,显存足够,batchSize=4这个调整大一些

您好,我也碰到同样的问题,请问您是如何优化模型预测速度的?我训练的分类器要90ms预测

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问