Tensorflow

Question

使用Tensorflow1.13版本，改进深度学习模型，新的网络多了一个模块，导入原网络，训练可以正常进行，测试时报错：OP_REQUIRES failed at save_restore_v2_ops.cc:184 : Not found: Key generator/feature_extraction/Variable_10 not found in checkpoint。大佬们该怎么解决啊

Answer 1

引自免费微信小程序：皆我百晓生

这个错误信息表明在恢复模型时找不到名为generator/feature_extraction/Variable_10的变量。这通常是因为新添加的模块中的某些变量没有被包含在之前的检查点（checkpoint）中。为了解决这个问题，你需要执行以下几个步骤：

1. 确保新添加的模块的权重在训练过程中被更新。
2. 保存整个新模型的检查点。
3. 使用新的检查点进行测试。

以下是详细的步骤：

第一步：确保新模块的权重被更新

确保在训练期间，新添加的模块的权重被正确地更新。这可能意味着你需要在训练循环中包含对新模块输出的反向传播操作，以及相应的优化器应用。

例如，如果你有一个新的损失函数 new_loss，并且你正在使用Adam优化器，那么你的训练步骤可能会看起来像这样：

# 假设 x 是输入数据，y 是目标标签
with tf.GradientTape() as tape:
    # 前向传播
    old_predictions = original_network(x)
    new_predictions = new_module(x)

    # 计算旧网络的损失
    old_loss = original_loss_function(y, old_predictions)

    # 新模块的损失
    new_loss = new_loss_function(y, new_predictions)

    # 总损失
    total_loss = old_loss + new_loss

gradients = tape.gradient(total_loss, original_network.trainable_variables + new_module.trainable_variables)
optimizer.apply_gradients(zip(gradients, original_network.trainable_variables + new_module.trainable_variables))

第二步：保存整个新模型的检查点

在训练过程中，记得保存包含所有模块的新模型的检查点。下面是一个示例代码片段，展示了如何使用TensorFlow的tf.train.Saver类保存整个模型的检查点：

import tensorflow as tf

# 假设 model 是你的模型对象，包括原始网络和新增模块
saver = tf.train.Saver()

# 在每个训练周期结束时保存模型
save_path = saver.save(sess, 'path_to_your_checkpoint/model.ckpt')
print("Model saved in path: %s" % save_path)

第三步：使用新的检查点进行测试

在测试阶段，你需要加载这个新的检查点。这里是如何使用tf.train.Saver加载模型：

import tensorflow as tf

# 创建一个新的会话
with tf.Session() as sess:

    # 加载保存的模型
    saver = tf.train.Saver()
    saver.restore(sess, 'path_to_your_checkpoint/model.ckpt')

    # 进行测试
    test_data = ...  # 你的测试数据
    test_labels = ...  # 你的测试标签
    predictions = model(test_data)
    # 进行后续的评估或计算精度等操作

按照这些步骤操作后，你应该可以在测试阶段成功加载包含新模块的模型。如果还有问题，可能是检查点路径不正确，或者新模块的变量名称有误。仔细检查这些细节，确保它们与你的代码匹配。