如何评估Chinese Clip模型的Image to text 和text to image 用R@5为指标

Question

Chinese 文到图检索和图到文检索如何进行模型评估，并用召回率@5

Answer 1

引自免费微信小程序：皆我百晓生

在评估Chinese Clip模型的Image to Text（图像到文本）和Text to Image（文本到图像）任务时，我们通常会关注两个主要指标：召回率（Recall）和精确率（Precision）。在这里，我们将重点关注召回率@K（即Top-K Recall），其中K通常是5。

为了计算召回率@5，我们需要找到与给定查询相关的前5个结果中真正相关的数量。具体步骤如下：

1. 对于Image to Text：

   • 给定一个图像，模型将生成相应的描述。
   • 将模型生成的描述与数据库中的所有实际描述配对，根据相关性排序。
   • 取出前5个最相关的描述。
   • 计算这5个描述中有多少是真正相关的（即它们来自同一图像）。
   • 回召率@5 = 相关描述数 / 总共应返回的相关描述数

2. 对于Text to Image：

   • 给定一个文本描述，模型将生成相应的图像。
   • 将模型生成的图像与数据库中的所有实际图像配对，根据相关性排序。
   • 取出前5个最相关的图像。
   • 计算这5个图像中有多少是真正相关的（即它们对应于相同的文本描述）。
   • 回召率@5 = 相关图像数 / 总共应返回的相关图像数

下面是一个Python代码示例，展示了如何计算召回率@5：

import numpy as np

def calculate_recall_at_k(retrieved_items, relevant_items, k=5):
    retrieved_indices = np.argsort(-retrieved_items)  # 按照相关性降序排列
    top_k_retrieved = retrieved_indices[:k]
    
    relevant_in_top_k = sum(1 for index in top_k_retrieved if index in relevant_items)
    
    recall_at_k = relevant_in_top_k / len(relevant_items)
    return recall_at_k

# 示例数据
image_to_text_query = "一只猫在窗台上睡觉"
image_to_text_retrieved_descriptions = ["猫在睡觉", "窗外的风景", "夜晚的城市", "猫咪休息", "阳光下的小猫"]
image_to_text_relevant_descriptions = [0]  # 假设第0个描述是匹配的

text_to_image_query = "一个男人正在公园里散步"
text_to_image_retrieved_images = [3, 7, 2, 4, 8]  # 图像索引，假设第3个是匹配的
text_to_image_relevant_images = [3]

# 计算召回率@5
recall_at_5_image_to_text = calculate_recall_at_k(image_to_text_retrieved_descriptions,
                                                  image_to_text_relevant_descriptions)
recall_at_5_text_to_image = calculate_recall_at_k(text_to_image_retrieved_images,
                                                  text_to_image_relevant_images)

print("Image to Text Recall@5:", recall_at_5_image_to_text)
print("Text to Image Recall@5:", recall_at_5_text_to_image)

注意，这个代码片段只是一个简单的示例，实际应用中可能需要处理更复杂的数据结构，例如使用嵌入向量来度量相似性，而不是直接比较字符串。此外，你还需要一个用于评估的测试集，包含已知的图像-文本对以及它们的相似性评分。在真实场景中，你可能需要使用余弦相似度或其他方法来计算两个向量之间的相关性。