[发明专利]一种三维视频目标跟踪方法

摘要

本发明公开了一种三维视频目标跟踪方法，其首先选择前几帧彩色图像以及前几帧深度图像构成训练图像集，并计算得到训练图像集的每个聚类中心、每个聚类半径和每个聚类的置信值；对于任何一副待跟踪的彩色图像，通过计算彩色图像中的每个区域的R分量的颜色-深度联合直方图、G分量的颜色-深度联合直方图和B分量的颜色-深度联合直方图，并融合得到用于反映三维视觉显著性的特征矢量，并根据训练图像集的最优聚类中心、最优聚类半径以及最优聚类的置信值，获取得到待跟踪的彩色图像的显著图，并通过搜索得到彩色图像的目标区域；优点是所获得的显著图符合三维视觉显著语义特征，具有较高的跟踪精度。

主权项

一种三维视频目标跟踪方法，其特征在于包括以下步骤：①将待处理的原始三维视频序列定义为当前视频序列，假定当前视频序列中包含的彩色图像的总帧数和包含的深度图像的总帧数均为T，其中，T>1；②将当前视频序列中的前P帧彩色图像及前P帧彩色图像各自对应的深度图像按序构成训练图像集，其中，1≤P<T；③获取训练图像集的所有聚类中心、所有聚类半径以及所有聚类各自的置信值，将训练图像集的第m个聚类中心、第m个聚类半径以及第m个聚类的置信值对应记为g_m、r_m、其中，m的初始值为1，1≤m≤K，K表示训练图像集的聚类的总个数，K≥1；④手工标记当前视频序列中的第1帧彩色图像的目标区域，该目标区域包含场景中最主要的运动对象；然后将当前视频序列中当前待处理的第t帧彩色图像定义为当前彩色图像，记为I_t；并将当前视频序列中与I_t对应的深度图像定义为当前深度图像，记为D_t；其中，t的初始值为2，2≤t≤T；⑤采用超像素分割技术将I_t分割成M个互不重叠的区域；然后根据训练图像集的最优聚类中心、最优聚类半径以及最优聚类的置信值，计算I_t中的每个区域的显著值；再将I_t中的每个区域的显著值作为该区域中的所有像素点的显著值，从而得到I_t的显著图，记为S_t；其中，M≥1；⑥根据S_t获取I_t的目标区域，记为其中，表示I_t中与当前视频序列中的第t‑1帧彩色图像I_t‑1的目标区域的尺寸大小相同且形状相同的任一个区域，表示I_t中与当前视频序列中的第t‑1帧彩色图像I_t‑1的目标区域的尺寸大小相同且形状相同的所有区域的集合，S_t(x,y)表示S_t中坐标位置为(x,y)的像素点的像素值，1≤x≤W，1≤y≤H，W表示当前视频序列中的彩色图像和深度图像的宽，H表示当前视频序列中的彩色图像和深度图像的高，符号“||”为取绝对值符号，表示取使得的值最大的一个区域⑦如果满足t≤P，则直接执行步骤⑧；如果满足t>P，则将I_t和D_t加入到训练图像集中，并删除训练图像集中的第1帧彩色图像和第1帧深度图像，得到更新后的训练图像集，然后采用与步骤③相同的操作，获取更新后的训练图像集的所有聚类中心、所有聚类半径以及所有聚类各自的置信值，再执行步骤⑧；⑧令t＝t+1；然后将当前视频序列中的第t帧彩色图像作为当前彩色图像，记为I_t；并将当前视频序列中与I_t对应的深度图像定义为当前深度图像，记为D_t；再返回步骤⑤继续执行，直至当前视频序列中的所有彩色图像和深度图像处理完毕，得到当前视频序列中的每帧彩色图像的目标区域；其中，t＝t+1中的“＝”为赋值符号。