WPF yolov8 realtime detect

Question

請教各位C# yolo
我如何將yolov8 realtime detect在WPF上的Image呈現呢

Answer 1

本答案参考 多次询问 ChatGPT-3.5 后选择的最佳回答，若是满意，还请采纳，谢谢

以下是在WPF中使用OpenCV进行YOLOv8实时检测并在Image控件中呈现的大致步骤：

一、环境准备

1. 安装依赖项

   • 确保已经安装了OpenCV库（可以通过NuGet包管理器安装OpenCvSharp4等适用于C#的OpenCV封装库）。
   • 下载YOLOv8的预训练权重文件（例如yolov8n.pt等）。

2. 项目设置

   • 在WPF项目中，需要添加对System.Drawing等相关命名空间的引用，以便处理图像。

二、代码实现

1. 导入命名空间

   • 在C#代码文件中，导入必要的命名空间：

     using System.Windows;
     using System.Windows.Controls;
     using System.Windows.Media.Imaging;
     using OpenCvSharp;
     using System.Threading.Tasks;
     using System;
     

2. 加载YOLOv8模型

   • 首先，需要加载YOLOv8模型。假设使用OpenCvSharp4库，代码如下：

     private Net LoadYoloModel(string modelPath)
     {
     return CvDnn.ReadNetFromDarknet("yolov8.cfg", modelPath);
     }
     

   • 这里的yolov8.cfg是YOLOv8的配置文件（可能需要根据实际情况调整路径和文件内容）。

3. 图像预处理与检测

   • 对于从摄像头或视频文件获取的每一帧图像，需要进行预处理并进行目标检测。

private Mat DetectObjects(Mat frame, Net net)
{
    var blob = CvDnn.BlobFromImage(frame, 1 / 255.0, new Size(608, 608), new Scalar(0, 0, 0), true, false);
    net.SetInput(blob);
    var outputNames = net.GetUnconnectedOutLayersNames();
    var outs = net.Forward(outputNames);

    // 解析检测结果并在图像上绘制边界框等
    int[] classIds = new int[outs[0].Rows];
    float[] confidences = new float[outs[0].Rows];
    Rect[] boxes = new Rect[outs[0].Rows];
    for (int i = 0; i < outs[0].Rows; ++i)
    {
        Mat scores = outs[0].Row(i).ColRange(5, outs[0].Cols);
        Point classIdPoint;
        double confidence;
        CvDnn.MinMaxLoc(scores, out _, out confidence, out classIdPoint, out _);
        if (confidence > 0.5)
        {
            int centerX = (int)(outs[0].At<float>(i, 0) * frame.Cols);
            int centerY = (int)(outs[0].At<float>(i, 1) * frame.Rows);
            int width = (int)(outs[0].At<float>(i, 2) * frame.Cols);
            int height = (int)(outs[0].At<float>(i, 3) * frame.Rows);
            int left = centerX - width / 2;
            int top = centerY - height / 2;

            classIds[i] = (int)classIdPoint.X;
            confidences[i] = (float)confidence;
            boxes[i] = new Rect(left, top, width, height);
        }
    }

    // 使用非极大值抑制
    int[] indices = CvDnn.NMSBoxes(boxes, confidences, 0.5, 0.4);
    for (int i = 0; i < indices.Length; i++)
    {
        int idx = indices[i];
        var box = boxes[idx];
        Cv2.Rectangle(frame, box, new Scalar(0, 255, 0), 2);
    }
    return frame;
}

1. 在WPF中显示图像
   • 在WPF中，要将Mat类型（OpenCV中的图像类型）转换为可以在Image控件中显示的BitmapSource类型。

private BitmapSource MatToBitmapSource(Mat mat)
{
    return BitmapSource.Create(mat.Cols, mat.Rows, 96, 96, PixelFormats.Bgr24, null, mat.Data, mat.Step());
}

private async Task StartDetection()
{
    var model = LoadYoloModel("yolov8n.pt");
    VideoCapture capture = new VideoCapture(0);
    if (!capture.IsOpened())
    {
        MessageBox.Show("无法打开摄像头");
        return;
    }
    var imageControl = (Image)Application.Current.MainWindow.FindName("image");
    while (true)
    {
        Mat frame = new Mat();
        capture.Read(frame);
        if (frame.Empty())
        {
            break;
        }
        Mat detectedFrame = DetectObjects(frame, model);
        BitmapSource bitmapSource = MatToBitmapSource(detectedFrame);
        await Application.Current.Dispatcher.BeginInvoke(new Action(() =>
        {
            imageControl.Source = bitmapSource;
        }));
        Cv2.WaitKey(30);
    }
    capture.Release();
}

• 在上述代码中，StartDetection函数从摄像头读取图像帧，进行目标检测，然后将检测后的图像显示在名为image的Image控件中。

请注意，以上代码只是一个基本框架，实际应用中可能需要根据具体需求进行调整，例如处理不同类型的输入源（视频文件而不是摄像头）、优化性能、处理更多的YOLOv8输出信息等。