基于双目测规则物体尺寸

Question

我想部署一个小项目，即通过双目摄像头实现对快递盒长宽高的测量，而且图片中还没有参照物。如下图，如何测出长宽高呢？

我通过opencv的一些图像处理函数得到下图了，还没有得到顶点之间的像素距离，我现在觉得，就算得到像素距离也不能得到准确的长宽高，还不知道下一步要如何做。现在只有一个简单的思路，相机标定-->立体校正-->立体匹配-->视差图-->提取快递盒顶点-->计算快递盒顶点之间的像素值-->计算距离（不知道这个思路对不对，恳求大家批评指正）

下图是通过预测3d bounding box 来进行预测，我复现了omi3d可以得到一个3d的bounding box ，而且这个框也不够准确。下一步还是不知道要如何处理。

目前可以实现对平面物体的长宽进行测量，并且需要有参照物。我现在不知道如何解决这个问题，麻烦双目视觉先人能给出详细解答，无意占用公共资源，谢谢大家。

Answer 1

该回答引用自GPT-4,由博主GISer Liu编写：

针对你的问题，首先需要明确你的目标：通过双目摄像头测量快递盒的长宽高。你提到的思路中涉及到了相机标定、立体校正、立体匹配等步骤，这是一种常见的方法，但对于你的具体情况，可能需要做一些调整和改进。

问题分析：

1. 缺乏参照物： 图片中没有参照物，这增加了测量的难度。
2. 像素距离无法直接转换成物理距离： 即使得到了像素距离，也需要进一步的处理才能得到准确的物理尺寸。
3. 3D bounding box 不够准确： 目前复现的方法得到的3D bounding box 不够精确，可能需要改进。

   解决方案：

4. 参照物添加： 考虑在场景中添加一个已知尺寸的参照物体，例如一个标准尺寸的物体或者平面。这个参照物体可以用来校准摄像头，并作为测量的基准。
5. 深度信息获取： 使用立体视觉技术获取深度信息，而不仅仅是视差图。可以尝试使用深度学习模型来进行立体匹配，以获得更准确的深度信息。
6. 物体分割与定位： 在获取了深度信息后，可以使用物体分割算法将快递盒从背景中分割出来，并定位快递盒在图像中的位置。
7. 尺寸测量： 在获取了快递盒的位置信息后，可以通过计算快递盒在摄像头坐标系中的尺寸，进而得到其在现实世界中的尺寸。

   可能的实现步骤：

8. 相机标定： 使用相机标定技术，获取摄像头的内参和外参。
9. 深度信息获取： 使用双目摄像头获取立体图像，然后进行立体匹配，得到深度图。
10. 物体分割与定位： 使用深度信息进行物体分割，并定位快递盒的位置。
11. 尺寸测量： 根据快递盒在图像中的位置和深度信息，计算其在现实世界中的尺寸。

    代码大纲：

    python
    Copy code

    # 相机标定
    def camera_calibration():
    # 实现相机标定的代码
    # 深度信息获取
    def depth_estimation(left_image, right_image):
    # 实现深度信息获取的代码
    # 物体分割与定位
    def object_detection(depth_map):
    # 实现物体分割与定位的代码
    # 尺寸测量
    def measure_dimensions(object_position, depth_value):
    # 根据物体位置和深度信息，计算尺寸的代码
    # 主程序
    if __name__ == "__main__":
    # 读取双目图像
    left_image = read_left_image()
    right_image = read_right_image()
    # 相机标定
    camera_calibration()
    # 深度信息获取
    depth_map = depth_estimation(left_image, right_image)
    # 物
    

如果该回答解决了您的问题，请采纳！如果没有，请私信联系或评论您的疑惑