[发明专利]一种基于双目摄像头的实时深度及置信度的预测方法

权利要求书

1.一种基于双目摄像头的实时深度及置信度的预测方法，其特征在于：包括以下步骤：

第一步，构建特定架构的神经网络模型，神经网络模型基于2D卷积处理得到，神经网络模型采用编码加解码的神经网络架构，并准备三个数据集，分别为分类数据集、人工合成的数据集和真实场景的数据集；

第二步，在分类数据集上训练神经网络的编码部分，或选用预训练的分类神经网络，编码部分为特征提取过程，共分五层，每层由若干个卷积层单元构成，每一层提取都会进行下采样，解码部分即视差和置信度的逐级调整，采用模块化、轻量级的子网络来完成；

第三步，冻结神经网络编码部分的参数，在人工合成的数据集上对神经网络解码部分的参数进行训练；

第四步，待损失收敛后，解冻神经网络的所有参数，在人工合成的数据集上继续训练；

第五步，在真实场景的数据集上对神经网络的参数进行微调，并在测试集上对神经网络进行测试；

其中，在人工合成的数据集和在真实场景的数据集上进行参数训练所用的视差损失函数为：

y表示训练时神经网络模型的视差输出值，表示训练时神经网络模型的视差真实值，i表示视差图中像素点的坐标；

其中，在人工合成的数据集和在真实场景的数据集上进行参数训练所用的置信度信息的损失函数为：

t_i表示训练时神经网络模型的置信度的输出值，表示置信度的真实值，y_i表示神经网络模型预测的视差，表示视差的真实值。

2.根据权利要求1所述的一种基于双目摄像头的实时深度及置信度的预测方法，其特征在于：所述的第二步中子网络包括串联模块，串联模块的输入端连接有采样模块、相似性计算模块和上一级的子网络的卷积模块，串联模块将输入信息进行串联并输送至卷积模块中进行处理。

3.根据权利要求2所述的一种基于双目摄像头的实时深度及置信度的预测方法，其特征在于：所述的串联模块中输入的信息包括上级子网络输出的解码信息、置信度信息、相似性计算模块输出的对应层级的左图特征和采样模块的视差信息。

4.根据权利要求3所述的一种基于双目摄像头的实时深度及置信度的预测方法，其特征在于：所述的相似性计算模块沿着channel维度使用余弦距离来评估左图特征和采样后的右图特征的相似性。

5.根据权利要求2所述的一种基于双目摄像头的实时深度及置信度的预测方法，其特征在于：所述的子网络中串联模块的信息传输采用高速通道进行连接，使子网络中内部卷积层的学习目标变为视差和置信度的微调量。

6.根据权利要求2所述的一种基于双目摄像头的实时深度及置信度的预测方法，其特征在于：所述的卷积模块连接有视差加权计算模块，视差加权计算模块将其输入数据沿着第二个维度做softmax操作，并沿着第二个维度做加权相加，其权值由-d到d。

7.根据权利要求2所述的一种基于双目摄像头的实时深度及置信度的预测方法，其特征在于：所述的子网络的损失为损失加权相加之和，其权重的选取从第一层子网络到第五层子网络依次递增。