NYU数据集提取到的rawdepth有黑边

Question

从下载的nyu_depth_v2_labeled.mat中提取的RGB-D图，得到的rawdepth有黑边，请问这该怎么处理？
NYU数据集RGB图和Depth图是对齐，但是有黑边的话就不是对齐的了吧。

Answer 1

【以下回答由 GPT 生成】

我了解您的问题。要处理NYU数据集中提取的rawdepth图片以去除黑边，您可以执行以下步骤：

1. 导入所需的库：

import numpy as np
import cv2

1. 读取RGB和Depth图像：

rgb_image = cv2.imread('path_to_rgb_image.jpg')
depth_image = cv2.imread('path_to_depth_image.png', cv2.IMREAD_ANYDEPTH)

请记得将path_to_rgb_image.jpg和path_to_depth_image.png替换为实际图像文件的路径。

1. 查找黑边区域：

gray_image = cv2.cvtColor(rgb_image, cv2.COLOR_BGR2GRAY)
_, threshold = cv2.threshold(gray_image, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)
contours, _ = cv2.findContours(threshold, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
largest_contour = max(contours, key=cv2.contourArea)
x, y, w, h = cv2.boundingRect(largest_contour)

这将通过阈值化灰度图像和查找最大轮廓来找到黑边区域。

1. 去除黑边：

rgb_image_cropped = rgb_image[y:y+h, x:x+w]
depth_image_cropped = depth_image[y:y+h, x:x+w]

这将通过裁剪原始RGB和Depth图像以仅保留黑边外的区域来去除黑边。

1. 可选：保存裁剪后的图像：

cv2.imwrite('path_to_cropped_rgb_image.jpg', rgb_image_cropped)
cv2.imwrite('path_to_cropped_depth_image.png', depth_image_cropped)

请记得将path_to_cropped_rgb_image.jpg和path_to_cropped_depth_image.png替换为您希望保存图像的路径。

现在，您应该有已经去除黑边的RGB和Depth图像。这样，它们应该能够准确对齐了。

如果上述步骤没有解决您的问题，请让我知道，我将尽力提供进一步的帮助。

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^