怎么通过双目摄像头来获取到摄像头画面中人的三维坐标

Question

有一个双目摄像头，怎么通过双目摄像头来获取到摄像头画面中的人的三维坐标？

Answer 1

• 建议你看下这篇博客👉 ：视频压缩与三维姿态跟踪，基于偏微分方程的图像编码和静电半调
• 除此之外, 这篇博客: 基于多视角融合的夜间无人车三维目标检测中的 1 多视角通道融合网络 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:
  

• 本文所采用的多视角通道融合网络由特征提取模块、候选区域生成模块和通道融合模块组成，整体结构图如图1所示。

  特征提取模块由特征编码网络和特征解码网络2 部分组成，结构如图2所示。

  

  图1 多视角通道融合网络结构图
  Fig.1 Structure diagram of multi-view channel fusion network

  

  图2 特征提取模块结构图
  Fig.2 Structure diagram of feature extraction module

  特征编码网络采用的是改进后的VGG(visual geometry group)16 网络[12]，将原VGG16 网络的通道数减少一半至50%，然后在网络中加入批标准化层，并在Conv4 删除最大池化层。特征编码网络将M×N×C的红外图像、鸟瞰图或前视图作为输入，并输出 

  

  的特征图。式中，M表示图像的长，N表示图像的宽，C表示通道数。对于红外图像，C为1。特征解码网络采用特征金字塔网络[13]的形式，学习将特征映射上采样回原始的输入大小。特征解码网络将特征编码网络的输出作为输入，输出新的 M×N×D的特征图，如图2所示，通过转换-转置操作对输入进行上采样处理，并和来自特征编码网络的对应特征映射进行级联操作，最后通过3×3 卷积来融合二者。

  输入一幅鸟瞰图，候选区域生成模块会生成一系列的三维候选区域。每个三维候选区域有六维的参数：(x,y,z,l,w,h)，分别表示三维候选区域在激光雷达坐标系中的中心坐标和长宽高尺寸。对于每个三维候选区域，对应在鸟瞰图中的参数(xbv,ybv,lbv,wbv)利 用离散的 (x,y,l,w)变换可以得到，表示三维候选区域在鸟瞰图中的坐标和长宽，其中 离散分辨率为0.1 m。

  通道融合模块结合各个视角的特征，对各视角上的目标进行联合分类，并针对三维候选区域进行定向回归。由于不同的视角有不同的分辨率，对于每个视角通道所输出的不同分辨率的特征向量，通过ROI（region of interest）池化操作将每个视角通道所输出的特征向量调整到相同的长度。通过下式得到3 个视角不同的ROI。

  

  式中：T3D→v表示从激光雷达点云坐标系到鸟瞰图形式、前视图形式，和红外图像的转换函数；P3D表示三维候选区域参数向量。对于区域候选网络所生成的三维候选区域，将其投影到经过ROI池化操作的鸟瞰图形式(BV)特征向量、前视图(FV)特征向量和红外图像(IR)特征向量中。对于从某个视角特征提取通道中输出的特征向量 x，通过ROI池化获得固定长度的特征 fv。

  

  式中：R表示相应的矩阵变换。为了融合来自各个视角通道的特征信息，采用多层次融合的方法，分层融合多视角特征，使得各通道的信息可以在中间层有更多的交互。如图3所示。

  

  图3 通道融合网络结构图
  Fig.3 Structure diagram of channel fusion network

  对于通道融合网络的每一层，输入为鸟瞰图形式、前视图形式以及红外图像3 个通道的特征，经过一次逐元素平均计算后，再经过各自的中间卷积层进一步提取特征。具体的融合过程如下式所示。

  

  式中：fl表示第 l层的融合结果；fBV、fFV和 fIR分别表示鸟瞰图通道、前视图通道以及红外图像通道的输入特征；

  

  表示第l层不同通道的中间卷积层；⊕表示逐元素平均运算；经过通道融合网络融合各个视角通道的特征之后，利用融合结果对候选区域模块生成的三维候选区域进行回归校正，并将融合结果输入Softmax 分类器对三维候选区域内的物体进行分类识别。

• 您还可以看一下 王西猛老师的商超收银软件排队挂单取单编程思路教程课程中的 点餐软件开发过程中的挂单取单编程概述小节, 巩固相关知识点