相机偏移角度计算问题

Question

请教一下各位：在机器视觉测量中，使用工业相机对标定板进行拍摄，此时工业相机相对于相机视线的偏移角为0度。如果将相机相对于相机视线的偏移角调为15度，可以通过什么算法计算出相机偏移的角度？

Answer 1

引自免费微信小程序：皆我百晓生

在机器视觉测量中，要计算相机相对于其视线的偏移角，可以利用标定板的特征点信息。首先，你需要对未偏移（0度）时的图像进行标定，得到相机内参矩阵、畸变系数以及世界坐标系到相机坐标系的转换矩阵。然后，当相机偏移15度后，再次拍摄标定板并提取相同的特征点。通过这两个不同视角下的特征点对应关系，可以应用透视几何原理来计算相机的旋转和平移变化。

这里是一个简化的步骤概述，用于计算相机的偏移角度：

1. 相机标定： 使用OpenCV库中的cv2.calibrateCamera()函数进行相机标定，获取相机内参矩阵 K 和畸变系数 D。

2. 提取特征点： 对于每个视角的图片，使用SIFT、SURF或其他特征检测器提取特征点，并使用cv2.matchFlann()找到这些特征点之间的匹配。

3. 构建对应关系矩阵： 将匹配的特征点对放入一个3xN的矩阵中，其中第一列是第一个视角的特征点坐标，第二列是第二个视角的特征点坐标。

4. RANSAC法估计本质矩阵： 使用OpenCV的cv2.findEssentialMat()函数，结合上面的对应关系矩阵，通过RANSAC方法求解本质矩阵 E。

5. 从本质矩阵中恢复旋转矩阵： 通过SVD（奇异值分解）方法从本质矩阵 E 中恢复旋转矩阵 R 和平移向量 t。可以使用cv2.recoverPose()函数简化这个过程。

6. 计算偏移角度： 由于我们只需要偏移角，可以从旋转矩阵 R 中提取绕z轴的旋转角。对于正交旋转矩阵，我们可以直接使用罗德里格斯公式（Rodrigues' rotation formula）从旋转向量计算角度。

下面是一段Python代码示例，展示了如何使用OpenCV实现上述步骤。注意，你需要提供一些输入，例如图像文件名、标定板的尺寸等。

import cv2
import numpy as np

# 图像文件名
image_files = ['image_0deg.jpg', 'image_15deg.jpg']

# 标定板的参数，例如棋盘格大小和单元格数
pattern_size = (9, 6)
pattern_points = np.zeros((np.prod(pattern_size), 3), np.float32)
pattern_points[:, :2] = np.indices(pattern_size).T.reshape(-1, 2) * 10  # 假设每个单元格的边长为10像素

# 初始化空的特征点列表
keypoints_0 = []
keypoints_1 = []

# 特征检测器
feature_detector = cv2.SIFT_create()

for i, image_file in enumerate(image_files):
    img = cv2.imread(image_file, cv2.IMREAD_GRAYSCALE)

    if i == 0:
        ret, corners = cv2.findChessboardCorners(img, pattern_size)
        if ret:
            cv2.cornerSubPix(img, corners, (11, 11), (-1, -1), criteria=(cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.01))
            keypoints_0.extend(corners.reshape(-1, 2))

    else:
        ret, corners = cv2.findChessboardCorners(img, pattern_size)
        if ret:
            cv2.cornerSubPix(img, corners, (11, 11), (-1, -1), criteria=(cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.01))
            keypoints_1.extend(corners.reshape(-1, 2))

# 匹配特征点
matcher = cv2.FlannBasedMatcher()
matches = matcher.knnMatch(keypoints_0, keypoints_1, k=2)

# 筛选好的匹配点对
good_matches = []
for m, n in matches:
    if m.distance < 0.75 * n.distance:
        good_matches.append([m])

# 计算本质矩阵
src_points = np.array(keypoints_0)[[g[0].queryIdx for g in good_matches]]
dst_points = np.array(keypoints_1)[[g[0].trainIdx for g in good_matches]]

E, _ = cv2.findEssentialMat(src_points, dst_points, K, D=None, method=cv2.RANSAC, prob=0.999, threshold=1.0)

# 恢复旋转矩阵和位移向量
_, R, t, _ = cv2.recoverPose(E, src_points, dst_points, K)

# 提取Z轴旋转角
theta = np.arccos((np.trace(R) - 1) / 2) * 180 / np.pi

print(f"相机偏移角度: {theta:.2f} 度")

这段代码只是一个基础框架，实际操作中可能需要根据具体场景调整参数，比如特征检测器的选择、特征匹配的质量标准等。确保提供的图像有足够数量且质量良好的特征点匹配，以便获得准确的结果。如果你没有已知的相机内参 K 和畸变系数 D，则需要先执行相机标定步骤。