[发明专利]一种基于深度学习的车载视频目标检测方法

摘要

本发明公开了一种基于深度学习的车载视频目标检测方法，利用改进的Faster R‑CNN算法实现复杂交通环境中的目标检测，提供行车安全辅助功能。现有的目标跟踪算法存在严重的小目标漏检问题，本发明通过增加一个深度信息通道，将其与原有的彩色图像通道并联，并在通道维度上进行融合，在融合后的特征图像上进行候选框提取和目标检测，提高小目标的检测率，另外在训练中添加对难样本的训练，提高算法整体的目标识别率。本发明能够充分考虑Faster R‑CNN算法存在的小目标漏检问题，通过深度图像特征融合和难样本挖掘方法，提高复杂交通场景中车辆识别的准确率。

主权项

1.一种基于深度学习的车载视频目标检测方法，其特征是，包括如下步骤：步骤1)将深度坐标下的像素对齐到彩色坐标下；再将深度图像和彩色图像各自通过CNN进行特征提取，并将各自卷积层输出的特征图在通道维度上进行串联融合得到最终的RGB‑D特征作为卷积后的卷积特征映射；构建区域建议网络RPN，所述区域建议网络RPN包括一个3×3的卷积层和两个1×1的并行卷积层；将融合后的卷积特征映射输入3×3的卷积层，在输入的特征映射上以像素为单位滑动预设大小的网络，则每个滑动位置产生特定尺度的锚点；将产生的锚点输入两个1×1的并行卷积层进行位置回归和前后景判断，分别输出锚点的前后景置信度和所有候选框位置并按照预设条件从所得的矩形后选框中筛选满足特定条件的预设数量的区域，得到最终的区域建议集合C；步骤2)构建Fast R‑CNN模型：所述Fast R‑CNN模型由两个ROI池化层、一个全连接层和两个并联的全连接层组成，分别输出该区域的置信度以及边框回归之后的候选框位置；将融合后的卷积特征输入Fast R‑CNN模型，输出图像中目标的位置及其类别和置信度；步骤3)：构建训练RPN网络的代价函数和训练Fast R‑CNN网络的代价函数；步骤4)使用标准的ZF模型训练和微调网络的各项参数，通过从设定的标准方差的零均值高斯分布中提取权重来随机初始化所有新层；步骤5)利用反向传播算法和随机梯度下降算法，采用对RPN和Fast R‑CNN两个网络交替训练的方式对模型进行训练，根据预先设置的参数依次调整每层神经网络的权值；步骤6)使用预先获得的训练集测试初步训练好的Faster R‑CNN模型，根据难样本的判别公式筛选出难样本；步骤7)将步骤6)中产生的难样本加入训练集中，对网络再次进行训练，重复步骤5)‑步骤7)，得到最优的Faster R‑CNN模型；步骤8)对实际中采集的车载视频图像进行处理，输入训练好的Faster R‑CNN模型中，输出该图像中目标类别、置信度以及目标位置。