人工神经网络的反向传播原理

Question

我在思考一个问题，现在我需要搭建一个网络，利用Vit作为骨干网络，想利用timm直接创建，我想知道的是在网络的反向传播中，backbone会被更新吗，如何验证？
transformer_encoders = timm.create_model(model_timm, pretrained=True, in_chans=3)

Answer 1

上午好☀️☀️☀️️
本答案参考通义千问

在使用 Vision Transformer (ViT) 作为骨干网络（backbone）进行训练时，反向传播过程会自动更新 backbone 的参数。这是因为在 PyTorch 中，默认情况下，所有具有 requires_grad=True 的参数都会在反向传播中被优化器更新。

---

✅ 一、反向传播是否会更新 backbone？

是的，backbone 会被更新。
因为你在使用 timm.create_model(...) 创建模型时，默认情况下，模型的所有参数都会被设置为需要梯度（requires_grad=True），除非你显式地冻结它们。

🔍 验证方法如下：

---

✅ 二、如何验证 backbone 是否被更新？

你可以通过以下几种方式来验证 backbone 是否在训练过程中被更新：

1. 检查模型参数的梯度是否为 None

import torch
from timm import create_model

model = create_model("vit_base_patch16_224", pretrained=True, in_chans=3)
for name, param in model.named_parameters():
    print(f"{name}: requires_grad={param.requires_grad}, grad={param.grad}")

如果 requires_grad=True，则说明该参数会在反向传播中被更新。

---

2. 查看 optimizer 中包含哪些参数

optimizer = torch.optim.Adam(model.parameters(), lr=1e-4)

for param_group in optimizer.param_groups:
    print(f"Params in optimizer: {len(param_group['params'])}")

如果输出的数量大于 0，则说明 optimizer 正确地将 backbone 参数加入到了优化过程中。

---

3. 手动冻结部分参数（可选）

如果你希望 不更新 backbone 的参数，可以这样做：

# 冻结 backbone 的参数
for param in model.parameters():
    param.requires_grad = False

# 只对新添加的层进行优化
optimizer = torch.optim.Adam(model.head.parameters(), lr=1e-4)

这样只有 head 层的参数会被更新。

---

✅ 三、代码示例：使用 ViT 作为 backbone 并训练

import torch
from timm import create_model
from torch.utils.data import DataLoader
from torchvision import datasets, transforms

# 1. 加载数据集
transform = transforms.Compose([
    transforms.Resize((224, 224)),
    transforms.ToTensor(),
])
train_dataset = datasets.ImageFolder(root="path/to/train", transform=transform)
train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True)

# 2. 创建 ViT 模型
model = create_model("vit_base_patch16_224", pretrained=True, in_chans=3)
num_ftrs = model.head.in_features
model.head = torch.nn.Linear(num_ftrs, 10)  # 修改输出层为 10 类

# 3. 定义损失函数和优化器
criterion = torch.nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters(), lr=1e-4)

# 4. 训练循环
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
model.to(device)

for epoch in range(5):  # 假设训练 5 轮
    for inputs, labels in train_loader:
        inputs, labels = inputs.to(device), labels.to(device)

        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()

    print(f"Epoch {epoch+1} completed.")

---

✅ 四、重点总结

• ViT 作为 backbone 时，其参数默认会在反向传播中被更新。
• 可以通过检查 requires_grad 和 grad 来验证是否更新。
• 如果想冻结 backbone，需手动设置 requires_grad=False。
• 确保 optimizer 包含了你希望更新的参数。

---

✅ 五、常见问题解答

Q1: 如何只训练 head 层，不更新 ViT backbone？

A1: 手动冻结 backbone 参数，并仅优化 head 层：

for param in model.parameters():
    param.requires_grad = False
optimizer = torch.optim.Adam(model.head.parameters(), lr=1e-4)

---

Q2: 为什么我的 backbone 参数没有变化？

A2: 检查以下几点：

• 是否设置了 requires_grad=False？
• 是否将模型移动到 GPU？
• 是否调用了 loss.backward() 和 optimizer.step()？

---

如你有更具体的模型结构或训练目标，也可以告诉我，我可以提供更针对性的建议！