[发明专利]一种基于深度学习的车载视频目标检测方法

权利要求书

1.一种基于深度学习的车载视频目标检测方法，其特征是，包括如下步骤：

步骤1)将深度坐标下的像素对齐到彩色坐标下；再将深度图像和彩色图像各自通过CNN进行特征提取，并将各自卷积层输出的特征图在通道维度上进行串联融合得到最终的RGB-D特征作为卷积后的卷积特征映射；

构建区域建议网络RPN，所述区域建议网络RPN包括一个3×3的卷积层和两个1×1的并行卷积层；将融合后的卷积特征映射输入3×3的卷积层，在输入的特征映射上以像素为单位滑动预设大小的网络，则每个滑动位置产生特定尺度的锚点；

将产生的锚点输入两个1×1的并行卷积层进行位置回归和前后景判断，分别输出锚点的前后景置信度和所有候选框位置并按照预设条件从所得的矩形后选框中筛选满足特定条件的预设数量的区域，得到最终的区域建议集合C；

步骤2)构建Fast R-CNN模型：

所述Fast R-CNN模型由两个ROI池化层、一个全连接层和两个并联的全连接层组成，分别输出该区域的置信度以及边框回归之后的候选框位置；将融合后的卷积特征输入FastR-CNN模型，输出图像中目标的位置及其类别和置信度；

步骤3)：构建训练RPN网络的代价函数和训练Fast R-CNN网络的代价函数；

步骤4)使用标准的ZF模型训练和微调网络的各项参数，通过从设定的标准方差的零均值高斯分布中提取权重来随机初始化所有新层；

步骤5)利用反向传播算法和随机梯度下降算法，采用对RPN和Fast R-CNN两个网络交替训练的方式对模型进行训练，根据预先设置的参数依次调整每层神经网络的权值；

步骤6)使用预先获得的训练集测试初步训练好的Faster R-CNN模型，根据难样本的判别公式筛选出难样本；

步骤7)将步骤6)中产生的难样本加入训练集中，对网络再次进行训练，重复步骤5)-步骤7)，得到最优的Faster R-CNN模型；

步骤8)对实际中采集的车载视频图像进行处理，输入训练好的Faster R-CNN模型中，输出该图像中目标类别、置信度以及目标位置；

所述难样本判别公式如下：

L(o,p)＝L_IoU(o)+L_score(p)，

L_score(p)＝(1-p)，

其中，L_IoU为边框误差；L_score为分类误差；o为样本与目标的相交率；k为对阈值的敏感系数；o和p的取值范围均为0～1。

2.根据权利要求1所述的一种基于深度学习的车载视频目标检测方法，其特征是，RGB-D特征作为RPN和Fast R-CNN共享的卷积特征映射，其矩阵形式为：

其中，i，j，K为中间变量，i～[0,h-1]，j～[0,w-1]，K～[0,2c-1]，h为特征图的高，w为特征图的宽，c为RGB三个通道；Y_RGB(i,j,K)是通道串联后的图像特征；Y_depth(i,j,K-c)是彩色图像特征；

Y_merge(i,j,K)是深度图像特征。

3.根据权利要求1所述的一种基于深度学习的车载视频目标检测方法，其特征是，所述训练RPN网络的代价函数为：

其中，将与标定过的真实数据的交并比最大或不低于0.7的锚点标为正样本，P_i为预测置信度；P_i^*为标注值，取1时表示正样本，取0时表示负样本；i表示锚点的索引；N_cls为锚点总数量；N_reg为正样本的数量；t_i为预测的锚点边界框修正值；为实际的锚点边界框修正值；L_cls为分类代价；L_reg为边框回归代价；λ为平衡权重。