[发明专利]基于双目摄像头左右目视图关键点一致性的检测方法

权利要求书

1.一种基于双目摄像头左右目视图关键点一致性的检测方法，其特征在于，所述方法包括：

用确定性网络提取方向梯度直方图特征；

结合提取的方向梯度直方图特征，利用立体区域建议网络对左目、右目的视图分别进行2D目标检测，得到左、右目视图候选区域；

利用立体区域卷积神经网络的内部关键点预测模块对左、右目视图候选区域分别进行关键点的预测；

对左、右目视图预测的关键点进行一致性匹配，并建立相应的损失函数，通过训练将各项任务的损失最小化；

根据预测的关键点进行3D框的估计，通过稠密3D框对齐进行像素级别的精度匹配，对上一步估计的3D框的结果进行进一步修正；

其中，对左、右目视图预测的关键点进行一致性匹配为：左、右目的视图在理论上是相一致的，两者相差为视差信息，左右目视图中对应的关键点具有一致性，将左、右目视图预测的关键点进行匹配；

所述损失函数具体为：

其中，w_cls^p代表RPN中分类权重，L_cls^p代表RPN中分类损失；w_reg^p代表RPN中回归任务的权重，L_reg^p代表RPN中回归任务的损失；w_cls^r代表R-CNN中分类的权重，L_cls^r代表R-CNN中分类的损失；w_box^r代表R-CNN中框定任务的权重，L_box^r代表R-CNN中框定任务的损失；表示R-CNN中视角角度的权重，表示R-CNN中视角角度的损失；w_dim^r代表R-CNN中维度的权重，L_dim^r代表R-CNN中维度的损失；代表R-CNN中左关键点的权重，代表R-CNN中左关键点的损失；代表R-CNN中右关键点的权重，代表R-CNN中右关键点的损失，p代表RPN部分，r代表R-CNN部分，β、γ分别为左右关键点项系数，β+γ＝1。