yolov5先检测后分类怎么做？

Question

我看到有人说先对图片进行检测定位然后分割出对象图片在进行分类？麻烦谁给推荐个教程啊，我想看下细节怎么写的？还有这属于两种模型，怎么配合调用啊？

Answer 1

yolov5先检测后分类大致步骤如下:
1. 使用yolov5对图像进行目标检测,获得检测框和类别信息
2. 根据检测框在原图上截取目标 ROI(Region of Interest)区域
3. 使用分类模型对ROI进行分类,获得更精细的类别信息
4. 结合yolov5的检测结果和分类结果,得到检测+分类的最终结果
具体代码实现可以参考:
python
import cv2
import torch

# YOLOv5 detection model
model = torch.hub.load('ultralytics/yolov5', 'yolov5s')

# Image
img = cv2.imread('image.jpg')

# Inference
results = model(img)

# Get detection bbox and class info 
bboxes = results.xyxy[0]  
classes = results.xyxy[0][:, -1].astype(np.int)

# Crop ROI from original image
roi_img_list = []
for bbox in bboxes:
    x1, y1, x2, y2 = bbox
    roi_img = img[y1:y2, x1:x2]
    roi_img_list.append(roi_img)

# Classification model 
classifier = ... 

# Classification 
class_list = []
for roi_img in roi_img_list:
    class_ = classifier(roi_img)
    class_list.append(class_)

# Combine detection and classification results 
final_results = zip(bboxes, classes, class_list) 
总体来说,yolov5提供检测框和粗粒度分类信息,分类模型进一步提炼分类信息,两者结合可以得到更精细的多类别检测结果。