问题遇到的现象和发生背景
博主,您好,我是研二的学生,方向是无人驾驶的安全性。您写的AVOD代码解析我非常佩服,十分感兴趣。
我最近想利用avod前半部分的特征提取和特征融合。我的目的是得到激光雷达BEV和摄像头RGB图像的融合图像或者融合图像的特征图。
那么我的问题是:
1,请问AOVD中间是不是会生成一些激光雷达点云和摄像头rgb图像的融合图像,这个融合图像是会继续进行特征提取得到特征图还是直接进行检测框的提取?
2,哪里能够保存这个特征融合图或者融合图的特征图?
用代码块功能插入代码,请勿粘贴截图
链接:https://blog.csdn.net/weixin_41679651/article/details/82147823
#bev和image的融合
with tf.variable_scope('proposal_roi_fusion'):
rpn_fusion_out = None
#mean
if self._fusion_method == 'mean':
tf_features_sum = tf.add(bev_proposal_rois, img_proposal_rois)
#/2平均融合方式
rpn_fusion_out = tf.divide(tf_features_sum,
fusion_mean_div_factor) # **在这个部分是否就是进行了点云BEV和摄像头RGB的特征融合得到特征融合图?**
elif self._fusion_method == 'concat':
rpn_fusion_out = tf.concat(
[bev_proposal_rois, img_proposal_rois], axis=3)
else:
raise ValueError('Invalid fusion method', self._fusion_method)
我想要达到的结果
我的目的是得到激光雷达BEV和摄像头RGB图像的融合图像或者融合图像的特征图。