如何通过深度图获得物体的完整、正确点云？

Question

最近在使用深度相机拍摄物体并基于物体的深度图生成物体的点云数据，但是由于拍摄视角的问题，获得的点云和原物体总有一些差距，这是我拍摄一个圆柱体得到的点云数据，无论是立着还是倒着拍摄，总没有办法呈现一个完整的圆柱形状，而是会根据视角进行拓深，请问如果想要得到真实的物体点云，应该怎么做？应该根据多角度的点云进行拼接吗？有具体的方法吗？最好是基于深度图转换得到的点云方法，因为这边没有点云扫描机。

Answer 1

引自免费微信小程序：皆我百晓生

要从深度图准确获得物体的完整点云，尤其是对于复杂形状如圆柱体，确实需要考虑多视角的数据融合。由于单个视角拍摄会存在遮挡和视差问题，导致无法得到完整的3D模型。以下是一种基于多角度深度图进行点云拼接的方法：

1. 数据采集：首先，你需要从不同角度（至少覆盖整个圆柱体一周）拍摄该圆柱体的深度图。

2. 深度图到点云转换：针对每一张深度图，将其转换为对应的点云数据。通常，这可以通过读取每个像素位置的深度值，并将这些像素坐标与相应的深度值结合起来生成3D坐标点来实现。例如，在OpenCV中可以这样处理：

import cv2
import numpy as np

# 假设你已经有了depth_img（深度图像）
depth = depth_img.astype(np.float32) / 1000.0 # 根据相机深度单位调整
points = np.column_stack((np.indices(depth.shape).astype(np.float32)[:, ::-1], depth))

# 将像素坐标转换为世界坐标（假设相机内参矩阵K已知）
K_inv = np.linalg.inv(K)
world_points = np.dot(K_inv, np.append(points, np.ones((points.shape[0], 1)), axis=1).T).T[:, :3]

1. 配准与拼接：对来自不同视角的点云进行配准，以确保它们在同一坐标系下。这通常涉及到使用特征匹配、ICP（Iterative Closest Point）等方法对齐点云。例如，利用Open3D库进行ICP配准：

import open3d as o3d

# 假设source_pcd和target_pcd是待配准的两个点云
icp = o3d.pipelines.registration.registration_icp(
    source_pcd, target_pcd, max_correspondence_distance,
    o3d.pipelines.registration.TransformationEstimationPointToPoint(),
    o3d.pipelines.registration.ICPConvergenceCriteria(max_iteration=500))
transform = icp.transformation

# 应用变换到源点云
source_pcd.transform(transform)

# 现在source_pcd已经与target_pcd对齐，可以合并它们
complete_pcd = o3d.geometry.PointCloud()
complete_pcd.points = o3d.utility.Vector3dVector(np.vstack((source_pcd.points, target_pcd.points)))

1. 迭代上述过程：对所有视角下的点云进行同样的配准操作，最终将它们逐个合并成一个完整的点云表示物体。

请注意，以上代码仅作为示例，并未涵盖实际应用中的所有细节，比如相机标定、深度图校正以及如何根据相机姿态信息进行初步对齐等步骤。在实际操作时，请结合具体场景及硬件设备特性进行调整。