[发明专利]基于双流卷积神经网络的双目图像快速目标检测方法

权利要求书

1.基于双流卷积神经网络的双目图像快速目标检测方法，其特征在于，包括步骤：

(1)对双目摄像头进行标定，得到标定参数；

(2)根据标定参数对训练图像进行校正，训练隐式深度语义挖掘网络用于在双目图像上隐式地学习深度语义信息，训练多模态特征混合检测网络；将隐式深度语义挖掘网络输出的特征与多模态特征混合检测网络的特征通过通道串联的方式结合在一起，便组成双流卷积神经网络，利用训练图像训练双流卷积神经网络；

(3)通过双目摄像头获取测试图像，并对其进行校正，将校正后的图像输入到上述双流卷积神经网络中进行目标检测，得到目标检测结果；具体为：

(3-1)将校正后的图像输入至双流卷积神经网络中，其中网络参数采用步骤(2)训练得出的参数；在双流卷积神经网络中，将双目图像均输入至隐式深度语义挖掘网络，将其中左目图像输入至多模态特征混合检测网络，经过双流卷积神经网络的目标识别从而得出目标检测结果，检测结果包括检测得出的目标数量，每个目标的位置信息以及置信度；

步骤(2)中，训练隐式深度语义挖掘网络，步骤是：

(2-1-1)建立隐式深度语义挖掘网络结构，并初始化网络结构中的参数；

(2-1-2)对于标定后的训练图像，人为标注出其中左目摄像头的图像中的目标位置；

(2-1-3)利用隐式深度语义挖掘网络进行目标检测，对于每一对双目图像，经训练后得到对应的目标位置信息与类别置信度，将其与步骤(2-1-2)中人为标注信息比对，利用损失函数与梯度下降法对隐式深度语义挖掘网络进行训练；训练后，只保留隐式深度语义挖掘网络的前7个层级，得到训练后的模型参数；

步骤(2)中，训练多模态特征混合检测网络，步骤是：

(2-2-1)建立多模态特征混合检测网络，并初始化网络结构中的参数；

(2-2-2)对于标定后的训练图像，人为标注出其中左目摄像头的图像中的目标位置；

(2-2-3)屏蔽隐式深度语义挖掘网络的特征来源，输入上述标注过目标的原始图像，让多模态特征混合检测网络进行目标检测；对于每一个训练图像，得到对应的目标位置信息与类别置信度，将其与步骤(2-2-2)中人为标注信息比对，利用损失函数与梯度下降法对多模态特征混合检测网络进行训练，得到训练后的模型参数；

步骤(2)中，对双流卷积神经网络进行训练，步骤是：

(2-3-1)对于标定后的训练图像，人为标注出图像中的目标位置；

(2-3-2)让双流卷积神经网络进行目标检测，对于每一个训练图像，得到对应的目标位置信息与类别置信度，将其与步骤(2-3-1)中人为标注信息比对，利用损失函数与梯度下降法对网络进行训练，得到训练后的模型参数；

所述步骤(2-1-1)中，隐式深度语义挖掘网络结构采用基于DispNet的网络结构，主干设置17个层级，其中conv代表卷积层、corr代表相关层，在网络的conv4b、conv6b、conv7b和conv8b上分别设置了一条检测分支；每个检测分支上分别设置了四对卷积层，负责四个不同大小范围的目标检测；

所述步骤(2-2-1)中，多模态特征混合检测网络的主干采用VGG16的神经网络结构，其中conv代表卷积层、pool代表池化层，在多模态特征混合检测网络的conv4_3、conv_fc7、conv6_2、conv7_2、conv8_2和conv9_2上分别设置了一条检测分支；每个检测分支上分别设置了四对卷积层，负责四个不同大小范围的目标检测。

2.根据权利要求1所述的基于双流卷积神经网络的双目图像快速目标检测方法，其特征在于，步骤(1)中，对双目摄像头进行标定，步骤是：

(1-1)制作一个n*n的黑白棋盘格，量得棋盘格中每个格子的边长为k厘米；

(1-2)用架构的双目摄像头从不同角度拍摄该棋盘格，得到Z组照片，每组照片中棋盘格均同时完整地出现在左右两个镜头的视野中；

(1-3)以拍摄得到的Z组棋盘格照片为输入，同时键入每个格子的边长k厘米，进行相机的标定，最终得到左右摄像头x方向和y方向的焦距左右摄像头的成像中心坐标左右摄像头的畸变参数d′₁,d′₂，以及左右摄像头之间的旋转矩阵R和平移向量T，完成标定。