复现nerfstudio遇到训练分辨率低的问题

Question

复现nerfstudio时使用与官方一致的数据集，但web查看器上分辨率很低，训练出的结果也是模糊不清，不知道是什么原因导致的

@Run_Clover@ScienceLi1125

Answer 1

下午好🌅🌅🌅
本答案参考ChatGPT-3.5

根据问题描述，可能是训练过程中分辨率设置有误导致训练出的结果模糊不清。

解决方案如下：

1. 检查训练时分辨率的设置是否正确。可以在nerf/configs/llff/llff.yaml中修改训练分辨率。确保设置的分辨率与数据集的原始分辨率相同或更高。

2. 确保在训练过程中能够保留高分辨率的信息。如果数据集本身分辨率较低，可以尝试通过增加训练的角度和位置来提高训练结果的质量。

3. 在训练过程中，可以使用--save_ckpts选项保存每个epoch的模型，并使用--render_test选项在测试集上进行渲染以评估模型的质量。

代码示例：

在llff.yaml文件中修改训练分辨率：

# --- [ Training ] ------------------------------------------------------------- #
train:
  num_epochs: 50
  batchsize: 4096
  learning_rate: 5e-4
  lr_milestones: [] # epochs to decay learning rate
  lr_gamma: 1.0    # by factor of lr_gamma
  num_gpus: 4
  resolution: [512, 512] # 设置训练分辨率
  num_workers: 8
  save_ckpts: True # 保存checkpoint
  render_test: True # 在测试集上进行渲染以评估模型的质量

此外，如果上述方案仍不能解决问题，可以考虑如下进一步操作：

1. 尝试使用其他的数据集进行训练，以确定是否为数据集的问题。

2. 在训练过程中，增加训练时间和迭代次数，可能需要更多的训练才能得到更好的结果。

3. 有时，模型的初始化权重可能会对结果产生巨大的影响。尝试改变初始化权重，或使用预训练模型进行fine-tuning。

希望这些解决方案能帮助你解决问题！