验证集loss不下降

Question

验证集loss从一开始就在震荡，但是验证集的acc却在上升,训练集的loss和acc正常

Answer 1

下午好🌅🌅🌅
本答案参考ChatGPT-3.5

从提供的信息来看，训练集的loss和acc表现正常，但验证集的loss始终没有下降，这可能意味着我们的模型在验证集上出现了过拟合的情况。

解决方案如下：

1. 增加正则化项。过拟合的根本原因是模型过于复杂，为了缓解这个问题，可以在损失函数中添加正则化项，例如L1、L2正则化。这样可以使训练过程中，不再过分注重拟合训练集中的噪声数据，模型的泛化能力也会得到提高。

2. 使用更多的训练数据。训练集越大，模型就有更大的机会遇到潜在的模式、特征，从而更好地学习到函数关系，避免出现过拟合现象。

3. 使用dropout技术。Dropout可以在每次训练时随机丢弃一些神经元，从而防止神经元之间出现“共谋”，使得模型更加稳定、泛化能力更强。

修改后的代码实现如下：

import torch.nn.functional as F
import torch.optim as optim
from torch.autograd import Variable
import numpy as np

class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(10, 20)
        self.fc2 = nn.Linear(20, 10)
        self.fc3 = nn.Linear(10, 1)
        self.dropout = nn.Dropout(0.2)

    def forward(self, x):
        x = F.relu(self.fc1(x))
        x = self.dropout(x)
        x = F.relu(self.fc2(x))
        x = self.dropout(x)
        x = self.fc3(x)
        return x

model = Net()
optimizer = optim.Adam(model.parameters(), lr=0.01)
criterion = nn.MSELoss()

for epoch in range(100):
    running_loss = 0
    for i, data in enumerate(trainloader, 0):
        inputs, labels = data
        inputs, labels = Variable(inputs), Variable(labels)

        optimizer.zero_grad()

        outputs = model(inputs)
        loss = criterion(outputs, labels)
        loss.backward()
        optimizer.step()
        running_loss += loss.data[0]

        if i % 10 == 9:
            print('[%d, %5d] loss: %.3f' %
                  (epoch + 1, i + 1, running_loss / 10))
            running_loss = 0

    val_loss = 0
    for data in valloader:
        inputs, labels = data
        inputs, labels = Variable(inputs, volatile=True), Variable(labels, volatile=True)
        outputs = model(inputs)
        val_loss += criterion(outputs, labels).data[0]

    print('Validation loss: %.3f' % (val_loss / len(valloader)))

在模型中增加了dropout层，减少过拟合，同时减少了学习率。