请问如何在openpcdet上对KITTI数据集的测试集进行结果评估？

Question

请问如何在openpcdet上对KITTI数据集的测试集进行结果评估？
如果什么都不改变的话，只有val验证集的结果。
我想得到KITTI官网上的测试集数据请问该如何操作？

目前尝试修改此处，但结果全都是0（验证集没问题）

DATA_SPLIT: {
    'train': train,
    'test': test #val
}

INFO_PATH: {
    'train': [kitti_infos_test.pkl],
    'test': [kitti_infos_test.pkl],  #'test': [kitti_infos_val.pkl],
}

Answer 1

以下参考免费微信小程序：皆我百晓生 作答，并由阿齐Archie整理回复，若还有疑问可评论或留言。

OpenPCDet 是一个用于3D目标检测的开源框架，它主要支持基于PointNet++和PV-RCNN的模型。要在 OpenPCDet 上对 KITTI 数据集的测试集进行评估，你需要遵循以下步骤：

1. 准备 KITTI 数据集

确保你已经下载了 KITTI 数据集的测试集，通常可以从 KITTI 数据集官网 获取。

2. 数据预处理

根据 OpenPCDet 的要求，你可能需要对测试集进行预处理，包括但不限于：

• 点云转换：将原始点云数据转换为 OpenPCDet 支持的格式。
• 数据分割：确保测试集的点云数据被正确分割。

3. 配置文件修改

OpenPCDet 需要配置文件来指定数据路径、模型参数等。你需要：

• 修改 openpcdet/tools/cfgs/dataset_configs/kitti_dataset.yaml 文件，指定测试集的路径。
• 在 openpcdet/tools/cfgs/train_configs/ 下的模型配置文件中，设置 val_dataloader 和 test_dataloader 参数，以使用测试集。

4. 模型加载

如果你已经训练了一个模型，并希望在测试集上进行评估，你需要加载这个模型。确保模型的权重文件路径在配置文件中正确指定。

5. 运行评估脚本

使用 OpenPCDet 提供的评估脚本运行模型。通常，你可以使用以下命令：

python tools/test.py -cfg tools/cfgs/kitti_models/pointpillar.yaml -ckpt your_model_checkpoint.pth -batch_size 1 -nms_thresh 0.7

这里的参数需要根据你的具体情况进行调整。

6. 结果评估

评估完成后，OpenPCDet 会输出评估结果，包括但不限于 AP (平均精度)、mAP (平均精度均值) 等指标。你可以根据 KITTI 评估标准对结果进行进一步的分析。

7. 提交到 KITTI 官网

如果你想要将结果提交到 KITTI 官网进行比较，通常需要按照 KITTI 的要求将结果格式化为特定的文件格式。具体步骤如下：

• 根据 KITTI 官网的要求，将你的检测结果转换为 KITTI 格式的 .txt 文件。
• 将这些文件上传到 KITTI 官网，并提交结果。

请注意，以上步骤可能需要根据 OpenPCDet 的最新版本和 KITTI 数据集的具体要求进行调整。务必参考 OpenPCDet 的官方文档和 KITTI 官网的最新指南。