pcl选点很多时候都选不准确是怎么回事呢

Question

pcl利用callbackPointsSelect回调选点，为什么很多时候点不准确，在鼠标点击位置的点很难选准，没选准时反而选到原点附近的点去了，怎么回事呢，有没有什么能够精准一点的选点方法呢？我用的pcl+QVTK。

Answer 1

使用 callbackPointsSelect 回调函数进行点选取时，如果选取点不准确，可能是因为鼠标点击的位置并不在点云上。

---

那么，我们可以考虑使用投影的方法，将鼠标点击的屏幕位置投影到点云上，从而确定最近的点。

---

具体来说，我们可以使用 PCL 中的一个函数：

pcl::PointCloud<T>::PointType
unprojectPoint (const Eigen::Vector2f & screen_pt, const Eigen::Matrix3f & cam_matrix, const Eigen::Vector4f & quat, const Eigen::Vector3f & trans, const Eigen::Vector3f & centroid, const double dist)

这个函数可以将屏幕坐标 (screen_pt) 投影到点云上，并返回投影的点。

---

需要提供的参数有：

• cam_matrix: 相机的内参矩阵

• quat: 相机的旋转矩阵

• trans: 相机的平移矩阵

• centroid: 点云的质心

• dist: 相机到点云质心的距离

这些参数可以通过 PCLVisualizer 的 getViewerPose 函数获得。

---

综上，我们可以这样使用 callbackPointsSelect 回调函数进行精确的点选取：

void callbackPointsSelect(const pcl::visualization::PointPickingEvent& event, void* viewer_void)
{
    // 获取点击的屏幕坐标
    Eigen::Vector2f screen_pt;
    event.getPoint(screen_pt[0], screen_pt[1]);
    std::cout << "Screen point: " << screen_pt[0] << " " << screen_pt[1] << std::endl;

    // 获取 PCLVisualizer
    pcl::visualization::PCLVisualizer* viewer = static_cast<pcl::visualization::PCLVisualizer*>(viewer_void);

// 获取相机的位姿信息
    Eigen::Matrix3f cam_matrix;
    Eigen::Vector4f quat;
    Eigen::Vector3f trans;
    viewer->getViewerPose(cam_matrix, quat, trans);

// 计算点云的质心
    pcl::PointCloud<T>::Ptr cloud = viewer->getPointCloud<T>();
    Eigen::Vector4f centroid;
    pcl::compute3DCentroid(*cloud, centroid);

// 计算相机到质心的距离
    double dist = (trans - centroid.head<3>()).norm();

// 将屏幕坐标投影到点云上
    pcl::PointCloud<T>::PointType pt = unprojectPoint(screen_pt, cam_matrix, quat, trans, centroid, dist);

// 打印投影后的点
    std::cout << "Unprojected point: " << pt.x << " " << pt.y << " " << pt.z << std::endl;
}