[发明专利]基于全景分割多目标追踪的视频全量分割计数方法

权利要求书

1.基于全景分割多目标追踪的视频全量分割计数方法，其特征在于，包括如下步骤：

步骤1，对于每一帧视频画面进行语义分割；对视频的每一帧原始画面，分别使用deeplabv3语义分割得到图片中每一个像素点对应的物体类别，通过事先设定好每一类物体的颜色为每一个像素点上色，从而可视化语义分割的结果；

步骤2，对于每一帧视频画面，使用DetectoRS进行实例分割；DetectoRS将分析得到当前帧中的每一个实例所包含的像素点，并在其外标上边界框；

步骤3，使用deepsort进行目标追踪，deepsort目标追踪分为两部分：分割器与追踪器；将步骤1得到的实例分割信息作为此步骤中目标追踪追踪器的输入，追踪器提取分割器即步骤2的实例分割信息，以此作为追踪器在当前帧的输入，追踪器预测当前帧中追踪目标的位置，并与实际信息对比更新追踪器；

步骤4，deepsort的追踪器通过关联不同帧中的同一物体实现对物体的计数，获取追踪器记录的信息，即可得到该段视频中出现的每一实例的信息，并完成对每一类物体数量的统计。

2.根据权利要求1所述基于全景分割多目标追踪的视频全量分割计数方法，其特征在于，所述步骤1具体过程为：

对视频的每一帧画面分别使用deeplabv3语义分割得到图片中每一个像素点所属的类，根据事先设定好的每一类对应的颜色，为每一个像素点上色，其中对于某些视为实例而非背景的类，颜色设定为同种颜色且为浅色，便于后续将实例分割的结果覆盖在该步骤生成的语义分割结果图上。

3.根据权利要求2所述基于全景分割多目标追踪的视频全量分割计数方法，其特征在于，所述步骤2具体过程为：对视频的每一帧原始画面，使用DetectoRS实例分割得到图片中每一个实例所包含的像素点，每个实例随机使用一种不同的颜色标注在步骤1中的语义分割结果图上，并对每一个实例，得到将像素点包含在内的外接矩形，作为该实例的边界框，一同标注在语义分割结果图上。

4.根据权利要求3所述基于全景分割多目标追踪的视频全量分割计数方法，其特征在于，所述步骤3的具体过程为：

步骤3.1，提取步骤2得到的实例分割信息；具体为：对每一个实例，根据其边界框在原图上进行裁剪，将裁剪得到的小图中该实例包含的像素点外的部分置为白色，即小图中只包含该实例的信息，其余部分为空白，作为输入追踪器的实例信息；

步骤3.2，将处理后的小图输入追踪器中，追踪器根据当前所有追踪目标的运动及外观信息预测追踪目标在当前帧的位置后，与步骤3.1中输入追踪器的实例信息对比，进行匹配，匹配结果分为三种：匹配，新出现的目标与丢失的目标；对于新出现的目标为其分配一个ID，并予以观察，若该目标连续出现则认为出现了新目标，否则忽略；对于丢失的目标则记录该目标与上一次匹配间的帧数，若该帧数超过设定的阈值，则认为目标丢失，在追踪器中删除该目标；对于匹配的目标则根据为该目标分配的颜色，在步骤1得到的语义分割图上将该目标所包含的像素点涂上相应的颜色，并为该目标标上检测框；在此步骤中每个实例具有不同的颜色，同一类别中的不同实例具有不同的颜色，该颜色自该实例确认出现起至丢失不会改变，即不同帧中的同一实例持有相同颜色，由此得到关联了不同帧中物体的全景分割。

5.根据权利要求1所述基于全景分割多目标追踪的视频全量分割计数方法，其特征在于，所述步骤4具体过程为：

在视频中的任意阶段都保存了出现过的所有目标包括当前活跃的即正在被追踪器追踪的目标与已丢失即已被追踪器删除的目标，因此在任意阶段都能得到从视频开始到该时刻为止，视频中出现的所有目标的信息，并对出现的目标信息进行统计，例如某一类物体在视频中共出现若干个实例。