swin transformer作为backbone

问题遇到的现象和发生背景

想用swin transformer作为视频任务的backbone，但是swin transformer似乎受输入图像尺寸的限制，那么我训练的时候使用的img_size为384，测试的时候也只能为这个大小了。

遇到的现象和发生背景

预训练的swin transformer模型遇到一个新的图像大小会出现不适配的情况

我的问题

swin transformer作为backbone后如何解决不同图像大小输入的问题，难道只要crop或者resize这个办法吗？

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除
收藏举报

报告相同问题？

关注问题

基于swin transformer的毕设 transformer
2022-11-15 11:37

回答 3 已采纳是有足够时间让你完成。首先swin的理论还是基于卷积神经网络，其次swin的大热，也让它的源码处处可见可查。
更改video swin transformer的损失函数 transformer 深度学习
2023-03-30 17:47

回答 2 已采纳 import torch.nn as nn import torch.optim as optim # 定义自定义损失函数 def custom_loss_function(output, tar
swin transformer训练数据集如何添加负样本人工智能深度学习目标检测
2023-03-17 18:46

回答 7 已采纳参考GPT和自己的思路，1.添加负样本的方法负样本是指不属于目标类别的样本，一般用于训练分类器或检测器来增加模型的泛化能力。添加负样本的方式可以是随机采样、手动选择或者从其他数据集中选择。在训练过程中
Swin Transformer做backbone的YoloX目标检测
2022-05-30 08:57

安淮葭的博客使用Swin Transformer做骨干网络进行YoloX目标检测
video swin transformer的num classes在哪里修改呀人工智能
2023-03-22 21:52

回答 1 已采纳通常在训练的配置文件中设置num_classes参数，具体位置取决于你使用的训练脚本。在 Video Swin Transformer 中，你可以在 configs/recognition/swin/
关于Swin Transformer官方代码中，WindowAttention模块中的self.proj的作用 transformer 深度学习计算机视觉
2023-02-13 14:41

回答 1 已采纳方案来自梦想橡皮擦狂飙组基于 GPT 编写的 “程秘” self.proj 是一个全连接层，在 SWIN Transformer 模型的 WindowAttention 模块中使用。它的作用是对
语义分割的网络为什么一般都是将backbone作为编码器呢 cnn 神经网络计算机视觉
2023-03-01 22:59

回答 2 已采纳不是将编码器作为backbone，而是将backbone作为编码器。就以常见的unet为例，本来编码器与解码器是一个对称的网络，但是在各位工程师手里总会用resnet50、resnet101等模型做b
Swin Transformer【Backbone】
2022-07-24 21:37

太简单了的博客背景 Swin Transformer是ICCV2021最佳论文。 ViT让transformer从NLP直接应用到CV有两个直接的问题：尺度问题（比如行人，车等大大小小的尺度问题在NLP领域就没有），序列问题（如果以图像像素点为基本单位，序列太大...
关于#transformer#的问题：transformer在SISR的问题，训练时图像小，test时可以直接对高分辨率图像处理 pytorch transformer 超分辨率重建
2023-02-01 19:33

回答 1 已采纳 Transformer模型在SISR问题中的特殊之处在于它使用了self-attention机制来捕捉图像中的长距离依赖关系，因此它可以处理任意大小的图像。在训练时使用的小图像可以避免内存问题，但是训
upernet辅助分支的输入是什么人工智能深度学习神经网络
2023-03-20 14:31

回答 2 已采纳参考GPT和自己的思路：在 Swin Transformer 和 UperNet 结构中，UperNet 的辅助分支的输入是来自 BackBone 中 Stage3 的特征图。这是因为在神经网络中，
关于模型的参数量计算问题 cnn 人工智能深度学习
2023-03-19 21:49

回答 2 已采纳参考GPT和自己的思路：可能是因为算法和计算参数量的方法不一样导致的。官方文档提供的参数量估计可能是基于模型结构和每个层的参数数量来估计的，而使用pytorch自带的方法计算参数量可能是考虑了某些参
检测分割算法改进(篇五) 引入Swin Transformer做检测网络Backbone
2022-02-10 15:31

@会飞的毛毛虫的博客在撸代码之前首先对Swin-Transformer网络结构要有一个明确的了解：整个网络的流程如下：输入为的图像经过Patch Partition模块后变为
如何提升yolov 5对遥感图像目标检测的精度 pytorch 人工智能目标检测
2023-04-03 22:32

回答 2 已采纳数据集问题：如果使用的数据集中包含的小目标较少或者标注不够准确，那么就会对模型的训练产生很大的影响，从而导致精度提升不明显。模型设计问题：虽然您已经尝试了使用注意力机制、增加小目标检测层等方法，但是
目标检测算法改进系列之Backbone替换为Swin Transformer
2023-10-06 15:10

我悟了-的博客目标检测算法改进系列之Backbone替换为Swin Transformer
Transformer变种—Swin Transformer
2022-08-25 18:23

思艺妄为的博客论文名称：Swin Transformer: Hierarchical Vision Transformer using Shifted Windows原论文地址： https://arxiv.org/abs/2103.14030这篇文章很厉害，是ICCV 2021 best paper，读了之后四舍五入我也会变厉害本文...
没有解决我的问题, 去提问

问题事件

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
系统已结题 12月28日
关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
创建了问题 12月20日

悬赏问题

¥200 csgo2的viewmatrix值是否还有别的获取方式
¥15 Stable Diffusion，用Ebsynth utility在视频选帧图重绘，第一步报错，蒙版和帧图没法生成，怎么处理啊
¥15 请把下列每一行代码完整地读懂并注释出来
¥15 pycharm运行main文件，显示没有conda环境
¥15 寻找公式识别开发，自动识别整页文档、图像公式的软件
¥15 为什么eclipse不能再下载了？
¥15 编辑cmake lists 明明写了project项目名，但是还是报错怎么回事
¥15 关于#计算机视觉#的问题：求一份高质量桥梁多病害数据集
¥15 特定网页无法访问，已排除网页问题
¥50 如何将脑的图像投影到颅骨上