[发明专利]一种深度感知交通场景多目标检测方法和系统

说明书

本发明公开了一种深度感知交通场景多目标检测方法和系统，包括将待检测图片输入至预先训练完成的Mask R‑CNN模型识别出第一类目标的类别以及目标位置；将识别完成的图片输入至预先训练完成的优化的CNN模型，检测出该图片中第二类目标的类别、置信度以及目标位置。本发明能够充分考虑交通场景复杂以及现有的目标跟踪算法存在严重的小目标漏检的问题，提出一种优化的CNN模型，在原始CNN网络的优点上，将特征提取网络和检测网络进行优化，训练生成新的模型以进行小目标检测。这种在大目标检测结果上进行小目标检测的方法，可以增强交通场景下多目标的检测效果，并提高小目标识别的准确性。

技术领域

本发明涉及一种深度感知交通场景多目标检测方法和系统，属于视频图像处理技术领域。

背景技术

基于视觉的交通场景感知（TSP）是智能交通系统中众多新兴领域之一，在过去的十年中，这一研究领域得到了广泛研究。TSP旨在提取准确的实时道路信息，对于图像中包含的各种研究对象通常涉及到三个阶段：检测，识别和跟踪。由于跟踪通常依赖于检测和识别的结果，因此有效检测识别研究对象的能力在TSP中起着至关重要的作用，它也一直是识别图像或视频中多目标对象的经典问题。

除了传统的图像处理技术，CNN是用于常见的图像分类识别检测任务的强大而有效的方法，延伸出许多优秀的模型和思想。早期的Overfeat在ConvNet中采用滑动窗口选择搜索以进行分类、本地化和检测，Ross Girshick通过使用深层的ConvNet对对象进行分类，提出了Region-CNN（R-CNN）。由于计算时间和空间上的缺陷，他在基于快速区域的卷积网络（Fast-RCNN）上采用了池化层，以提高速度和检测精度。后来，更高效的Faster R-CNN基于上述被提出，它直接引入了一个新的区域提议网络以获取候选区域。Mask R-CNN以FasterR-CNN原型，增加了一个分支用于分割任务。这一系列模型在架构上有几个相似之处，一个是它们都是CNN的骨干网，起源于基本的CNN；另一个是增加了一些额外的提议层，例如ROI池和RPN层，它们可以有效地处理主干CNN的特征图。

作为一种典型的深度学习模型，CNN由于其强大的特征提取能力而在对象检测方面可以取得出色的性能，但对于一些重要的小视觉对象，如车牌、车内乘客等，它们的标签和信息不足，增加了交通场景信息采集以及深度学习开发的难度。

发明内容

本发明旨在解决上述现有技术存在的对于一些重要的小视觉对象，如车牌、车内乘客等，它们的标签和信息不足的问题，提供一种深度感知交通场景多目标检测方法和系统。

本发明采用以下技术方案：

一种交通场景感知的多目标检测方法，包括以下步骤：

将待检测图片输入至预先训练完成的Mask R-CNN模型提取出第一类目标的类别以及目标位置；

将识别完成的图片输入值预先训练完成的优化的CNN模型，检测出该图片中第二类目标的类别、置信度以及目标位置。

进一步地，所述优化的CNN模型包括特征提取网络和物体检测网络，所述特征提取网络，用于检测图片的输入特征获得特征图；所述物体检测网络，对待检测图片进行检测，输出该图片中第二类目标的类别、置信度以及目标位置。

进一步优选地，所述优化的CNN模型包括特征提取网络和物体检测网络，所述特征提取网络结构包括8层，从第1层到第8层分别为第一卷积神经网络层、第一最大池化层、第二卷积神经网络层、第三卷积神经网络层、第二最大池化层、第四卷积神经网络层、第五卷积神经网络层和第三最大池化层；

所述物体检测网络包括三层，第一层是第六卷积神经网络层，第二层是并列的两个卷积神经网络层第七神经网络层和第八神经网络，并同时连接第六神经网络层，第三层是分别连接层第七神经网络层和第八层神经网络层的第九神经网络层和第十神经网络层，所述第九神经网络层输出目标的置信度和目标位置，所述第十神经网络层输出目标的类别。优选的，第一卷积神经网络层为归一化层。