[发明专利]一种基于多算法融合的多目标实时检测、识别及跟踪方法

说明书

本发明涉及图像处理技术领域，具体涉及一种基于多算法融合的多目标实时检测、识别及跟踪方法。首先用结合知识蒸馏的方法改进的CenterNet算法模型完成多目标的实时检测；紧接着在CenterNet算法模型中加入基于SENet的残差块，依次进行Squeeze操作、Excitation操作和Reweight操作完成目标识别；然后将Deepsort算法和Centernet算法融合，将多目标实时检测后的帧视频数据调用改进后的Deepsort算法，使用运动特征匹配、表观特征匹配和目标交互特征匹配来确定跟踪目标下一帧的位置，完成多目标跟踪。本发明是端到端可微的，更简单，更快，更精确，实现了速度和精确的较好的权衡。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于多算法融合的多目标实时检测、识别及跟踪方法。

背景技术

随着人工智能领域和深度学习技术的发展，目标检测已经成为人工智能和计算机视觉领域中的一个研究重点和难点。目前，目标检测在各个领域中都有着非常重要的应用，比如人脸识别、交通运输、自动驾驶等领域。目标检测就是识别出图像中感兴趣的区域并预测出目标的具体位置，并且快速、准确地识别出图像中的目标。目标跟踪就是在目标检测的基础上进行的，是在视频图像中的每一幅图像中确定出我们感兴趣的运动目标的位置，并把不同帧中同一目标对应起来。

现有的目标检测算法主要分为两类，one-stage算法和two-stage算法。one-stage算法是端到端的一步到位的算法，获取获选区域和对目标进行分类是同时进行的；two-stage算法是需要先获取候选区域，第二步再进行分类。

One-stage算法的主要代表是YOLO系列和SSD系列，YOLO的网络结构延续了GoogleNet的核心思想，利用卷积层来提取图片特征，利用全连接层来得到最后的检测结果。YOLO将输入图像分成S×S个网格，每个网格负责检测中心落在该网格的物体。YOLO的端到端训练和预测使得其具有较快的检测速度。在YOLO算法中虽然每个网格预测B个边框，但是只预测一组类别概率值，并且最后只选择IOU最高的边框作为输出结果。如果一个网格中包含多个物体，YOLO只能检测一个物体。SSD算法与faster-rcnn相比，该算法没有生成proposal的过程，这就极大提高了检测速度。不同于faster-rcnn使用rpn网络进行检测和边框回归，SSD网络的主要设计思想是特征分层提取，并依此进行边框回归和分类。针对不同大小的目标检测，传统的做法是先将图像转换成不同大小(图像金字塔)，然后分别检测，最后将结果综合起来(NMS非极大值抑制)。而SSD算法则利用不同卷积层的feature map进行综合也能达到同样的效果。One-stage算法相比于two-stage算检测速度有了很大的提升，但是检测精度却有所下降。此外，CenterNet也是one-stage的算法，但不同于YOLO和SSD系列算法，不再采用在图像上将目标用矩形框形式框出，而是构建模型时将目标作为一个点即标边界框的中心点，检测器采用关键点估计来找到中心点，并回归到其他目标属性。

Two-stage算法主要代表是R-CNN系列。R-CNN算法首先采用Selective Search(选择性搜索)方法，将输入图像分割成多个模块，再基于颜色、纹理等相似度对这些模块进行合并，最终得到大约2000个不同大小的候选区域，并将这些区域归一化到固定大小；然后使用卷积神经网络对这些候选区域分别进行特征提取，采用多个SVM对这些提取到的特征进行分类；最后对这些区域进行位置校准。Fast R-CNN能够处理不同输入大小图片，可以任意设定单尺度的ROl Pooling对特征图进行归一化，使用ROI Pooling Layer在特征图上获取对应每个候选框的特征，避免了R-CNN中的对每个候选框串行进行卷积。与其使用固定的算法得到候选区域，不如让网络自己学习自己的候选区域应该是什么。Faster R-CNN采用与Fast R-CNN相同的设计，但是不再使用selective search，它用区域生成网络(RegionProposal Network，RPN)代替了候选区域方法，新的候选区域网络(RPN)在生成ROI时效率更高。Two-stage算法由于要进行大量的计算，检测速度较慢，但检测精度比one-stage算法高。