请教，如何将retinanet和HEM（难例挖掘）结合

Question

我的思路是：难例挖掘是要将loss降序排序，然后挑选出前20%loss和对应的图片。再将图片加入数据集进行训练。

但是我不知道到如何将挑选出的20%loss对应的图片挑出来。

想问问有什么函数可以做到。

感谢各位的帮助，谢谢

Answer 1

回答引自chatgpt

# 1. 在训练过程中记录每个样本的loss值和对应的图片路径
losses = []
image_paths = []
def train_step(inputs, targets):
    # 计算损失并记录loss值和图片路径
    loss = model.train_on_batch(inputs, targets)
    losses.append(loss)
    image_paths.append(image_path)
    return loss
# 2. 根据loss值对样本进行排序，选取前20%的样本
sorted_losses = sorted(losses)
top20_index = int(len(losses) * 0.2)
top20_losses = sorted_losses[:top20_index]
# 获取对应的图片路径
top20_image_paths = [image_paths[i] for i, loss in enumerate(losses) if loss in top20_losses]
# 3. 将选中的图片路径存储到一个列表中
new_image_paths = []
new_image_paths.extend(top20_image_paths)
new_image_paths.extend(old_image_paths) # 将原来的图片路径也添加到列表中
# 4. 在下一阶段的训练中使用新的图片路径来读取对应的图片，并将它们添加到训练数据集中
train_generator = DataGenerator(new_image_paths, batch_size=32)
model.fit(train_generator, epochs=10)