[发明专利]一种基于超像素的复杂场景下的目标跟踪方法

摘要

本发明公开了一种基于超像素的复杂场景下的目标跟踪方法，包括以下步骤（1）初始化参数，取视频流中的前帧图像作为训练集，取3‑6；（2）找到上一帧的目标区域，重复上述步骤，采用超像素进行分割，提取超像素特征；（3）计算超像素的置信图；（4）通过上一帧得到的置信图，取个区域作为目标的候选区域；（5）基于贝叶斯理论，可以得到当前帧目标所在区域的概率；（6）更新训练集和外观模型；本发明更适用于复杂场景下精度要求较高的目标跟踪，不仅可以抵御多种复杂环境，如光照变化、目标姿态变化、尺度变化、目标遮挡等，而且当视频序列中有模糊帧时，仍然能精确跟踪。

主权项

一种基于超像素的复杂场景下的目标跟踪方法，包括以下步骤：步骤1：初始化参数，取视频流中的前m帧图像作为训练集，m取3‑6；步骤1.1：选择目标所在区域，对该区域进行超像素分割：步骤1.1.1：在目标区域中随机选择k个点作为超像素的中心点，也叫超像素的聚类中心CK：CK＝[lk,ak,bk,xk,yk]T在每个大小规则的方框S中取样像素，lk、ak、bk是CIELAB颜色空间中的参数，此颜色空间最为接近人类的视觉，它的lk分量即亮度，xk、yk表示点的坐标，S取其中N为超像素的个数，k的值由用户根据跟踪的效果自行选择，为300‑500之间；步骤1.1.2：将CK移动到3×3的相邻像素中梯度值最低的位置；步骤1.1.3：对图像中的每一个像素设置标记label(i)为‑1，与相近的聚类中心的欧式距离d(i)为无穷大，对于围绕在每一个聚类中心CK的2S×2S区域内的像素i，重复1.1.4‑1.1.5步骤：步骤1.1.4：计算像素i与聚类中心CK的欧式距离D；步骤1.1.5：若D＜d(i)置d(i)为D，label(i)为k；表示每一个像素对自身周围的聚类中心求欧式距离，取欧式距离最小的那个聚类中心为自己的类别；步骤1.1.6：重复1.1.2，选择新的聚类中心并计算残留误差E，残留误差表示为同一个超像素的聚类中心，经过两次迭代后的欧氏距离，E小于一定的阈值，即提取完全部超像素；步骤1.2：提取超像素特征作为训练集：步骤1.2.1：每一个超像素表示为：sp(t,r)表示在t帧时第r个超像素，用ftr表示；步骤1.2.2：取m张图片构成训练集，m取3‑5；用一个特征向量F＝{ftr|t＝1,...,m,r＝1,...,Nt}，来表示一个这个训练集所有的超像素；在特征空间中，设每个超像素的聚类中心为fc(i)，半径为rc(i)，则有{ftr|ftr∈C(k)}。步骤1.2.3：假设训练集中的每一个聚类中心对应一个图像区域S(i)，设S+(i)为第i个超像素在目标区域内的大小，S‑(i)为第i个超像素在目标区域外的大小，此大小即为像素的数量；若S+(i)/S‑(i)的值越大，则说明该超像素属于目标的可能性就越大；计算通过以下公式即可得到一个超像素的聚类中心处于背景或目标的可能性大小：Cic=S+(i)-S-(i)S+(i)+S-(i),∀i=1,...,n]]>由聚类中心fc(i)、半径rc(i)和每一个超像素的像素成员{ftr|ftr∈C(k)}构成基于超像素的外观模型，即目标的表示方法；步骤2：由贝叶斯理论可得知，由于两帧图像之间相互独立，设Xt为t时刻的状态，Y1:t为从第一帧到最后一帧的状态，有p(Xt|Y1:t)＝αp(Yt|Xt)∫p(Xt|Xt‑1)p(Xt‑t|Y1:t‑1)dXt‑1令其中表示t时刻目标的位置，表示t时刻目标的尺度，根据贝叶斯跟踪公式可知，关键是要得到观察模型和动作模型，从m+1帧开始直到最后一帧做如下步骤：步骤2.1：找到上一帧的目标区域，重复上述步骤，采用超像素进行分割，提取超像素特征；步骤2.2：计算超像素的置信图；步骤2.3：通过上一帧得到的置信图，取N个区域作为目标的候选区域；步骤2.4：基于贝叶斯理论，可以得到当前帧目标所在区域的概率；步骤2.5：更新训练集和外观模型：步骤2.5.1：每播放U帧图像以后，将训练集中最老的一帧图像丢弃，将新的一帧加入到训练集中，U为10；步骤2.5.2：为了抵御小幅度遮挡、丢失或模糊现象，采用如下计算公式：μc-max({Cl}l=1N)S(Xt(l))×2>θo]]>其中，μc是训练集中的目标区域内所有超像素置信值的平均值，公式中的分子表示当前推测出的目标区域与平均置信值之间的差别，分母表示了一个标准化的区域，值为[‑1,1]；若推测出的最大置信值远比训练集中保存的置信值平均值小，则出现了严重的遮挡和丢失现象，为了防止这种情况的发生，上一帧图像得到的Xt‑1，同时保留训练集中的图像不动，直到再次寻找到目标。步骤2.5.3：解决模糊帧跟踪丢失现象：由于目标区域是被分割成了多个超像素块，由步骤2.1可知，通过训练集即观察模型即可将背景和目标区分开来，当模糊帧出现时，通过置信图来获取目标的位置，即可稳定的对对象进行跟踪；步骤2.6：重复步骤2.1至2.5，直到处理完所有视频序列。