语义分割的网络为什么一般都是将backbone作为编码器呢

Question

如题 为什么现在主流的语义分割网络都致力于将编码器作为backbone 而解码器设计的比较简单呢 是计算复杂度的问题么。。
假如将swin作为解码器 每个stage后上采样 这样设计的问题是什么呢

Answer 1

不是将编码器作为backbone，而是将backbone作为编码器。就以常见的unet为例，本来编码器与解码器是一个对称的网络，但是在各位工程师手里总会用resnet50、resnet101等模型做backbone替换掉原来设计的编码器。
因为语义分割中编码与解码是一个不对称的任务，编码过程是一个不断对信息进行抽象的特征提取过程，该过程是较为困难的；而解码过程仅是将给定的特征不断的还原成简单的语义标签。
从任务上就可以看出来，语义分割对编码过程中的特征提取极为依赖。使用原始的编码器不一定能满足特征编码需求，使用更复杂的编码器可以提升语义分割效果；此外使用resnet50、resnet101等模型做backbone替换掉原来设计的编码器，也有一层迁移学习的意思，使用预训练模型对特征的抽取能力。