计算相机内参矩阵和畸变系数矩阵

Question

计算相机内参矩阵和畸变系数矩阵的函数没有错，但还是出现了这个问题，前面各个已经定义了，这是哪里出现问题了，求解决。

Answer 1

引自免费微信小程序：皆我百晓生

从您提供的代码片段来看，问题出在calibrateCamera()函数调用后的一段代码中，具体是这里：

double total_err = 0.0;
double err = 0.0;
vector<Point2f> points_reproject;

for (int i = 0; i < image_nums; i++) {
    err = 0.0;
    // 这里应该是调用reprojectImageTo3D()函数，但是缺少了这个函数的调用
    // ...
    for (size_t j = 0; j < points_all_images[i].size(); j++) {
        err += norm(points_all_images[i][j] - points_reproject[j]);
    }
    total_err += err / points_all_images[i].size();
    cout << "计算每幅图像的标定误差：" << err / points_all_images[i].size() << endl;
}

看起来您可能遗漏了一个关键步骤：将二维像素点重新投影到三维空间，并与原始三维点比较以计算误差。应该使用reprojectImageTo3D()函数来实现这一点。下面是修复后的代码：

#include <opencv2/core.hpp>
#include <opencv2/calib3d.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/imgproc.hpp>
#include <iostream>

using namespace cv;
using namespace std;

int main() {
    // ... 其他代码保持不变 ...

    Mat cameraMatrix(3, 3, CV_32FC1, Scalar::all(0));
    Mat distCoeffs(1, 5, CV_32FC1, Scalar::all(0));

    vector<Mat> rotationVectors;
    vector<Mat> translationVectors;

    calibrateCamera(points3D_all_images, points_all_images, image_size, cameraMatrix, distCoeffs, rotationVectors, translationVectors, 0);

    double total_err = 0.0;
    double err = 0.0;
    vector<Point2f> points_reproject;

    for (int i = 0; i < image_nums; i++) {
        err = 0.0;
        reprojectImageTo3D(points_all_images[i], points_reproject, cameraMatrix, distCoeffs, rotationVectors[i], translationVectors[i]);

        for (size_t j = 0; j < points_all_images[i].size(); j++) {
            err += norm(points_all_images[i][j] - points_reproject[j]);
        }

        total_err += err / points_all_images[i].size();
        cout << "计算每幅图像的标定误差：" << err / points_all_images[i].size() << endl;
    }

    cout << "所有图像的平均误差总和：" << total_err << endl;

    return 0;
}

这段代码首先包含了必要的头文件，然后修复了循环中的错误，添加了对reprojectImageTo3D()函数的调用。这样就可以正确地计算每幅图像的标定误差并输出结果。确保您的OpenCV库版本支持这些函数，因为某些旧版本可能不包含reprojectImageTo3D()。此外，请检查其他变量是否已正确初始化，例如points3D_all_images、points_all_images、image_size等。