Chinese Clip是如何用Flickr30K-CN进行Text To Image检索进行召回率评测的

Question

Flickr30K-CN只有一个图片5个文本，这在测试时可以用来召回率评估，可是一个文本没有多个图片如何进行文本检索图像的召回率呢

Answer 1

引自免费微信小程序：皆我百晓生

为了进行基于Flickr30K-CN数据集的Text to Image检索并计算召回率，你需要遵循以下步骤：

1. 数据预处理：
   • 加载数据：从Flickr30K-CN数据集中加载图片和对应的五个描述。
   • 文本编码：将每个文本描述转换为向量表示，例如使用预训练的词嵌入模型（如Word2Vec、GloVe或BERT）。
   • 图像编码：对每张图片执行特征提取，通常使用预训练的深度学习模型（如ResNet、VGG或CLIP的视觉部分）。

这里我们使用PyTorch库，并假设已经有一个预训练的文本编码器（text_encoder）和一个预训练的图像编码器（image_encoder）。假设你已经有了这两个模型，以及相应的加载数据的方法（load_data）。

import torch
from transformers import AutoTokenizer, AutoModel

# 加载预训练的文本编码器（例如BERT）
tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")
model = AutoModel.from_pretrained("bert-base-chinese")

# 假设 load_data 返回一个包含图片路径和对应描述列表的数据结构
data = load_data()

# 预处理文本
def encode_text(texts):
    input_ids = [tokenizer.encode(t, padding="max_length", truncation=True) for t in texts]
    return torch.tensor(input_ids)

texts = data["descriptions"]
encoded_texts = encode_text(texts)

1. 图像编码：
   • 读取图片并将其转换为适当的形状。
   • 使用图像编码器获取每个图片的向量表示。

# 假设 image_encoder 是一个已训练好的模型，如 ResNet 或 CLIP 的视觉部分
images = [plt.imread(path) for path in data["image_paths"]]
images = preprocess_images(images)  # 将图片调整到适当大小并归一化
encoded_images = image_encoder(images)

1. 回归率计算：
   • 对于每一个文本描述，找到与之最相似的图片。
   • 计算正确匹配的数量（召回），然后除以总样本数得到召回率。

from sklearn.metrics.pairwise import cosine_similarity

# 计算文本与图像之间的余弦相似度
similarity_matrix = cosine_similarity(encoded_texts, encoded_images.T)

# 找到每个文本描述的最佳匹配索引
best_match_indices = similarity_matrix.argmax(axis=1)

# 计算召回率
true_positives = (best_match_indices == torch.arange(len(data))).sum()
recall_rate = true_positives / len(data)
print(f"Recall rate: {recall_rate.item():.4f}")

这样，你就完成了基于Flickr30K-CN数据集的Text to Image检索，并计算了召回率。注意，由于这个数据集中的每个文本都只与单个图片相关联，因此召回率实际上就是准确率。在实际应用中，如果你想要评估更复杂的检索场景，可能需要使用不同的数据集，其中每个文本描述关联多个相关的图片。