[发明专利]一种基于RGB-D时空上下文模型的多目标遮挡跟踪方法

权利要求书

1.一种基于RGB-D时空上下文模型的多目标遮挡跟踪方法，其特征在于，包括如下步骤：

步骤S1、获取多目标检测定位区域；

步骤S2、RGB-D目标时空上下文建模；

步骤S3、利用时间一致性进行目标跟踪；

步骤S4、利用最大后验概率关联模型进一步进行目标遮挡匹配跟踪。

2.根据权利要求1所述的一种基于RGB-D时空上下文模型的多目标遮挡跟踪方法，其特征在于，所述步骤S2具体为：根据视频帧中目标检测区域的特征、空间近邻区域构成的三维上下文信息以及连续帧间时间上下文信息，通过有机融合空间局部三维上下文及目标区域特征、时间连续帧间的上下文特征，从目标时空上下文特征提取、目标时间上下文建模、目标空间上下文建模三个层次来建立目标模型，具体包括如下步骤：

步骤S21、目标时空上下文特征提取；

步骤S22、目标时间上下文建模；

步骤S23、目标空间上下文建模。

3.根据权利要求2所述的一种基于RGB-D时空上下文模型的多目标遮挡跟踪方法，其特征在于，步骤S21、目标时空上下文特征提取具体为：

RGB-D目标时空上下文模型中的每个节点表示目标检测的响应，用f_i^k表示第k帧的第i个节点(i∈Z⁺,1≤k≤K)，在视频帧中研究目标的3-D空间特征目标外观特征目标运动特征进行目标时空上下文特征提取；

目标的3-D空间特征表示三维空间目标检测框中心的坐标，是RGB域中目标检测的中心，其中，是RGB域中目标的横向坐标值，是RGB域中目标的纵向坐标值是目标距离深度传感器的深度值；

目标外观特征为了减少光照变化和光线突变的影响，通过结合HOG和HOGC特征描述子构建目标外观特征HOG侧重于形状描述，HOGC侧重于颜色特征描述，计算方向梯度和颜色梯度联合表达目标外观特征；

目标运动特征不考虑运动目标的整体特性，假定运动目标可以由唯一的特征集合表达，利用目标运动的速度特征和方向特征构建目标运动特征集合

4.根据权利要求3所述的一种基于RGB-D时空上下文模型的多目标遮挡跟踪方法，其特征在于，所述步骤S22、目标时间上下文建模具体为：

跟踪器首先确定当前帧的目标位置，通过基于目标的3-D空间特征、目标外观特征、目标运动特征在RGB和深度图像中找后续帧的候选目标区域，将当前帧与候选区域的3-D空间特征、目标外观特征、目标运动特征均进行匹配；具体包括如下步骤：

步骤S221、采用基于KCF的跟踪器计算图像目标模板与图像候选区域之间的匹配相似度，获得目标区域的最大相关峰值，而背景区域的响应峰值较低；

步骤S222、在RGB图像中，利用目标间的目标外观特征建立不同帧时间上下关联；

步骤S223、在深度图像中，将depth-HOG作为深度特征进行建模；假设当前帧目标边界框估计值b_rgb,k表示为第k帧处的RGB-KCF，其对应的概率为p(b_rgb,k)；当前帧目标边界框估计值b_d,k表示为第k帧处的Depth-KCF，其对应的概率为p(b_d,k)。

5.根据权利要求4所述的一种基于RGB-D时空上下文模型的多目标遮挡跟踪方法，其特征在于，所述步骤S23、目标空间上下文建模具体为：

利用目标和目标周围的非目标区域在深度值上存在空间约束，这种空间约束编码利用原理为：目标候选区域不能位于背景区域的后面或遮挡对象的前面；

通过建立目标特征的空间上下文模型，结合RGB信息和深度信息改善整体跟踪性能：当基于KCF的跟踪器面对多重遮挡情况时，选取目标区域为正样本，目标周区域为负样本；

为进一步进行更精确鲁棒跟踪，假设C是给定目标检测框的区域，O是围绕目标边界框区域的环形区域，即上下文区域，通过自适应窗口比率扩大目标的搜索区域，给出目标总体的搜索区域U为U＝C∪O。