[发明专利]基于全景分割多目标追踪的视频全量分割计数方法

说明书

本发明公开了基于全景分割多目标追踪的视频全量分割计数方法，包括对于每一帧视频画面进行语义分割；对于每一帧视频画面，使用DetectoRS进行实例分割；使用deepsort进行目标追踪，deepsort的追踪器通过关联不同帧中的同一物体实现对物体的计数，获取追踪器记录的信息，即可得到该段视频中出现的每一实例的信息，并完成对每一类物体数量的统计。本发明通过排除实例分割中检测框中的多余信息，可以有效利用实例分割信息，从而为追踪器提供更准确的信息，再此基础上借鉴目标检测+多目标追踪，从而避免每确定一个目标的位置就分析一次图片，大大提高了运行效率，本发明能对包括实例、背景在内的所有部分进行分析处理，达到了全量分析的效果。

技术领域

本发明涉及全景分割与目标追踪的交叉应用技术领域，特别涉及基于全景分割多目标追踪的视频全量分割计数方法。

背景技术

通常交通场景的数据分析包含初步的提取筛选信息与后续的针对性挖掘两部分，交通场景下的数据以视频为主，如何在一段视频中分析统计其中包含的物体并为后续的应用提供丰富且优质的信息是一个重要任务。而实现该任务的方法为对视频中的物体进行检测+追踪，将不同帧中的物体进行关联，筛出冗余，精炼信息，为后续分析确定研究对象，以达到大幅简化后续分析工作的目的。

当前的检测+追踪任务多以目标检测+目标追踪为主。目标检测+目标追踪的思路因其目标检测的时间效率优秀和简洁的表示方法，被广泛应用于各场景中。但在需要检测的物体数繁多，物体重叠程度高的场景下，仅有目标边界框的标注信息容易造成视觉效果的混乱，分不清框内标注的是哪一个物体。另一方面，由于在该思路下，前一阶段的目标检测提供给目标追踪的信息是原图中截取的小图，而在上述的场景中，很容易出现边界框中包含的物体重叠的情况，也就是提供给目标追踪的信息不纯，追踪器无法准确得知该检测框指定的是哪一个物体。

实例分割+目标追踪的方式则是上述问题很好的解决方式。实例分割虽然同样需要在原图上绘制边界框，但其提供的是像素级别的信息，能够提供给目标检测更准确的信息，不致信息在传递过程中混淆甚至丢失。同时实例分割由于在原图上对每个像素点进行了标注，具有极好的视觉效果，即使在复杂的场景下，观察者也很容易分清具体每个边界框的所示物体是哪一个。

但现今实例分割+目标追踪存在的问题是，该思路多为实例分割+单目标追踪，目前也仅有track-rcnn(Shuai B,Berneshawi A G,Modolo D,et al.Multi-objecttracking with Siamese track-RCNN[J].arXiv preprint arXiv:2004.07786,2020.)提出了实例分割+多目标追踪的方式。传统的实例分割+单目标追踪在每一次的分析过程中都只能对一个物体进行追踪，当需要同时追踪多个物体时需要多次分析同一张图片，这将带来巨大的时间消耗。而track-rcnn虽然很好的解决了时间消耗的问题，但其的实例分割模块为mask-rcnn(He K,Gkioxari G,Dollár P,et al.Mask r-cnn[C]//Proceedings ofthe IEEE international conference on computer vision.2017:2961-2969.)。而track-rcnn的模型设计及后续的追踪过程都完全绑定mask r-cnn这给后续的研究和新方法的结合应用都带来了很大的不便。

另外上述两种思路都仅局限于视频中的实例物体分析，对于占更大比重的背景信息则完全忽略，无法实现对视频中全部物体即全量进行分析的要求。因此，将背景和实例同时考虑的全景分割是满足要求的上选。但目前暂无相关的研究与应用。

发明内容

本发明的目的是在较低的时间开销下，能够应对交通场景下繁多的物体分析任务的同时不致大幅增加计算量，考虑实例与背景，提出一种基于全景分割多目标追踪的视频全量分割计数方法。

本发明为解决上述问题采取如下技术方案：

基于全景分割多目标追踪的视频全量分割计数方法，其特征在于，包括如下步骤：