M3T长焦相机如何标定以及正射影像拼接问题

Question

因为工作需要看清地表的拍摄物（鸟巢，见图1），使用大疆Mavic3T的长焦相机用7倍镜拍摄了一组正射影像，使用Pix4d拼接，但是因为M3T并不是航测机型，而且用的是长焦相机拍摄，所以找不到相机的内参，使用的是Pix4d自动读取的EXIF参数。
质量报告如下图（图2），显示很多照片相机未校准，而且相机优化一栏显示初始和优化焦距相差很大，拼接完的图（图3）有一些部分可以成功拼接，有一些不行。
按照一些博主给出的相机标定教程，尝试用黑白棋盘格标定，但是用算出来的内参也无法拼接成功。
想请教上述问题应该如何解决：1.图像拼接不成功的具体原因可能是什么？2.如果是相机标定的问题，怎样才能正确的标定？请给出具体的方法和流程；3.如果上述问题无法有效解决，有什么办法可以实现用无人机拍摄清晰的地面影像（需要清晰看到地面鸟巢的情况）并拼接成图？

• 图1
  

  

• 图2
  

  

• 图3
  

  

Answer 1

以下内容由CHATGPT及阿里嘎多学长共同生成、有用望采纳：

---

【您想要解决的问题】： 您提问的目的是解决在使用大疆Mavic3T长焦相机拍摄正射影像并使用Pix4D进行拼接时遇到的问题。具体来说，您希望解决以下问题：

1. 图像拼接不成功的原因。
2. 如何正确标定Mavic3T长焦相机的内参。
3. 如果上述问题无法解决，如何实现无人机拍摄的清晰地面影像拼接。

【图片内容】：

• 图1：显示了需要拍摄的地表目标（鸟巢）。
• 图2：是Pix4D软件生成的质量报告，显示了关键点数量、校准情况、相机优化差异、匹配数量、地理参考信息以及正射影像和稀疏数字表面模型（DSM）的预览图。
• 图3：展示了拼接后的正射影像，其中一些区域拼接成功，一些区域拼接失败。

【问题出现原因】：

1. 拼接不成功可能是由于相机内参不准确，导致图像间的几何关系无法正确匹配。
2. Mavic3T并非专为航测设计的机型，因此Pix4D可能无法自动读取或正确优化其内参。
3. 使用长焦相机拍摄时，图像的透视变形和深度信息可能与标准镜头不同，增加了拼接的难度。

【问题解决方案】：

1. 图像拼接不成功的原因：可能包括相机内参不准确、图像匹配算法限制、图像重叠度不足等。
2. 相机标定：您可以尝试以下步骤进行标定：
   • 使用棋盘格或其他标定板进行标定。
   • 拍摄标定板多组不同角度的照片。
   • 使用相机标定软件（如OpenCV的camera_calib模块）计算内参。
   • 将计算得到的内参手动输入Pix4D或生成相应的相机配置文件。
3. 替代方案：如果标定问题无法解决，您可以考虑：
   • 使用专为航测设计的无人机和相机。
   • 增加飞行高度以提高图像重叠度。
   • 使用其他图像拼接软件，如Agisoft PhotoScan。

【提供代码】： 由于相机标定通常涉及到实际拍摄和实验操作，这里提供一个使用OpenCV进行相机标定的基本代码框架：

import cv2
import numpy as np

# 假设您已经有了棋盘格角点的检测代码
# termination criteria
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)

# prepare object points, like (0,0,0), (1,0,0), (2,0,0) ....,(6,5,0)
objp = np.zeros((6*7,3), np.float32)
objp[:,:2] = np.mgrid[0:7, 0:6].T.reshape(-1,2)

# Arrays to store object points and image points from all the images.
objpoints = [] # 3d point in real world space
imgpoints = [] # 2d point in image plane.

# 遍历所有标定图片
for image in images:
    gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    # Find the chess board corners
    ret, corners = cv2.findChessboardCorners(gray, (7,6), None)
    # If found, add object points, image points
    if ret == True:
        objpoints.append(objp)
        cv2.cornerSubPix(gray, corners, (11,11), (-1,-1), criteria)
        imgpoints.append(corners)

# 标定相机
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], np.eye(3), None, None)

# 使用mtx, dist进行图像校正

【代码运行方式】：

• 确保您的环境中安装了OpenCV库。
• 将上述代码保存为.py文件。
• 将images替换为您的标定图片列表。
• 运行Python脚本。

【代码预期运行结果】：

• 计算并输出相机的内参矩阵mtx和畸变系数dist。
• 使用这些参数，您可以对拍摄的图像进行去畸变处理。

【推荐相关链接】：

• OpenCV官方文档：https://docs.opencv.org/
• Pix4D官方支持：https://pix4d.com/support/
• Agisoft PhotoScan官方教程：https://www.agisoft.com/downloads/phoclean-user-manual-en/