关于模型的参数量计算问题

Question

swin语义分割官方文档写的参数量为60m 但是用pytorch自带的sum([param.nelement() for param in model.parameters()])计算却为29.8m 请问这是怎么回事啊 是算法不一样吗

Answer 1

参考GPT和自己的思路：

可能是因为算法和计算参数量的方法不一样导致的。官方文档提供的参数量估计可能是基于模型结构和每个层的参数数量来估计的，而使用pytorch自带的方法计算参数量可能是考虑了某些参数共享等细节。因此两种估计方法的差异是可以预期的。底线是，您可以根据模型参数的实际大小进行优化，而不是仅仅依赖估计量。