nerf为什么需要深度信息

Question

nerf为什么需要深度信息，输入不是只要有坐标就行了吗，为什么有些论文还添加了深度估计的模块

Answer 1

• 这篇文章：NeRF数据集准备--毕设记录 也许有你想要的答案，你可以看看
• 除此之外, 这篇博客: 训练NeRF模型的几个建议中的 准备新的 NeRF 数据集 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:
  

• 请确保您已安装 COLMAP，并且它在 PATH 中可用。如果您使用视频文件作为输入，请确保安装 FFmpeg 并确保它在 PATH 中可用。要检查是否属于这种情况，从终端窗口中，您应该能够运行并查看每个窗口的一些帮助文本。colmapffmpeg -?

  如果从视频文件进行训练，请使用以下建议参数从包含视频的文件夹中运行 scripts/colmap2nerf.py 脚本：

  data-folder$ python [path-to-instant-ngp]/scripts/colmap2nerf.py --video_in <filename of video> --video_fps 2 --run_colmap --aabb_scale 16

  上述假设单个视频文件作为输入，然后以指定的帧速率（2）提取帧。建议选择可生成约 50-150 张图像的帧速率。所以对于一分钟的视频，--video_fps 2是可以的。

  对于从图像进行训练，请将它们放在名为images的文件夹中，然后使用合适的选项，如下所示：

  data-folder$ python [path-to-instant-ngp]/scripts/colmap2nerf.py --colmap_matcher exhaustive --run_colmap --aabb_scale 16

  该脚本将根据需要运行 FFmpeg 和/或 COLMAP，然后执行到transforms.json所需格式的转换步骤，该步骤将写入当前目录。

  默认情况下，该脚本使用"顺序匹配器"调用 colmap，该匹配器适用于从平滑变化的相机路径拍摄的图像，如在视频中。如果图像没有特定顺序，则穷举匹配器更合适，如上面的图像示例所示。有关更多选项，可以使用 运行脚本。有关COLMAP的更高级用途或具有挑战性的场景，请参阅COLMAP文档;您可能需要修改script/colmap2nerf.py脚本本身。

  aabb_scale参数是instant-ngp​​​​​​​​​​​​​​最重要的特定参数。它指定场景的范围，默认为1;也就是说，对场景进行缩放，使摄像机位置与原点的平均距离为 1 个单位。对于小型合成场景（如原始 NeRF 数据集），aabb_scale默认值 1 是理想的，可以实现最快的训练。NeRF 模型假设训练图像完全可以由此边界框中包含的场景来解释。但是，对于背景超出此边界框的自然场景，NeRF模型将挣扎，并可能在框的边界处产生幻觉"漂浮物"。通过设置aabb_scale为更大的 2 次幂（最多 16 次方），NeRF 模型会将光线扩展到更大的边界框。请注意，这可能会略微影响训练速度。如果有疑问，对于自然场景，请从16开始，然后尽可能减少它。该值可以直接在输出文件transforms.json中编辑，而无需重新运行 scripts/colmap2nerf.py 脚本。​​​​​​​

  假设成功，您现在可以按如下方式训练 NeRF 模型，从文件夹开始:

  instant-ngp$ ./build/testbed --mode nerf --scene [path to training data folder containing transforms.json]