[发明专利]一种基于运动目标时序信息的视频序列同步方法

权利要求书

1.一种不同摄像头所拍视频序列的同步方法，其特征在于，包括以下步骤：

(1)、计算两个摄像头对存在运动目标的同一场景所拍摄视频图像I₁、I₂之间的单应矩阵H

1.1)、对于两个摄像头分别同时拍摄的、存在运动目标的同一场景的两段视频序列，首先分别选取一帧视频图像I₁、I₂进行SURF特征点检测，得到两帧带特征点的视频图像I′₁、I′₂，然后通过人工剔除视频图像I′₁、I′₂中那些位于运动目标内的特征点，得到视频图像I″₁、I″₂，再后将视频图像I″₁的中特征点与视频图像I″₂中的特征点进行匹配，得到一系列的特征点匹配对；

1.2)、基于随机抽样一致算法，对特征点匹配对进行筛选，去除误匹配的特征点匹配对，得到特征点匹配对集合S；

1.3)、根据特征点匹配对集合S，计算两段视频序列的视频图像之间的变换矩阵即单应矩阵H，单应矩阵H根据以下公式计算：

其中，(x₁,y₁)为特征点匹配对位于视频图像I″₁中的特征点坐标，(x₂,y₂)为特征点匹配对位于视频图像I″₂中的特征点坐标；

(2)、将查找视频序列映射至参考视频序列平面

取视频序列V₂中长度不小于运动目标一个运动周期的小段视频序列为查找视频序列V_s，将视频序列V₁作为参考视频序列V_r；然后根据公式(1)中得到的单应矩阵H，将查找视频序列V_s映射至参考视频序列V_r所在平面，即查找视频序列V_s中的每一帧视频图像的每个像素点坐标作为(x₂,y₂)代入公式(1)中，计算出其新的像素点坐标(x₁,y₁)，得到查找视频序列V_s′；

(3)、背景减除与获取运动目标轮廓

基于混合高斯背景建模，针对查找视频序列V_s′和参考视频序列V_r分别获取场景背景，再分别与各自对应的视频序列进行背景减除处理；在背景减除结果中获取运动目标轮廓，得到两个轮廓序列，分别为查找轮廓序列Q和参考轮廓序列G；

(4)、基于运动目标轮廓匹配对视频序列进行同步

4.1)、获取匹配视频序列的终点帧序数

令查找轮廓序列Q＝(q₁,q₂,…,q_L)，参考轮廓序列G＝(g₁,g₂,…,g_M)，定义价值矩阵C，其元素为：

其中，L为查找轮廓序列Q的帧数，M为参考轮廓序列G的帧数，为轮廓q_i与轮廓g_j的相似度；

定义累积价值矩阵D，其元素根据以下方式计算得到：

第1列元素为：

其中，1≤i≤L；

第1行元素：

d_1,j＝c_1,j，其中，1≤j≤M；

然后，按行或按列依据以下公式得到其他元素：

d_i,j＝min(d_i-1,j-1,d_i-1,j,d_i,j-1)+c_1,j，其中，2≤i≤L，2≤j≤M (3)；

得到累积价值矩阵D后，进行配准即求查找视频序列在参考视频序列上的匹配视频序列的终点帧序数b^*：

其中，arg min表示L行的元素d_L,b取极小值时，列变量b的值，即终点帧序数b^*；

4.2)、获取匹配视频序列

根据步骤4.1)中方法，获取匹配视频序列的终点帧序数b^*多个，如果终点帧序数b^*小于L，则删除，这样得到P个终点帧序数b^*，记为：然后，根据最优规整路径算法，求得P个匹配视频序列，其在参考视频序列的位置分别表示为：其中，分别P个匹配视频序列的起始点帧序数；

4.3)、筛选匹配视频序列

设定一个阈值S_lope，如果匹配视频序列的斜率不满足：

则予以剔除；此外，匹配视频序列的数量为P*；

再分别计算经过斜率筛选的每个匹配视频序列与查找轮廓序列Q＝(q₁,q₂,…,q_L)中对应帧基于R变换的缩放比例其中，计算每个匹配视频序列中所有帧的缩放比例均值α^p：

α^p最小即均值最接近1的匹配视频序列即为最终筛选得到的匹配视频序列；

4.4)、计算视频序列的时间偏差

查找视频序列V_s的第一帧序数为n，最终筛选得到的匹配视频序列第一帧序数为n'，两个摄像头拍摄视频的帧率均为f，则视频序列的时间偏差为t＝|n-n'|/f，若n>n'，则查找视频序列所在视频在时间上落后参考视频序列所在视频t秒，反之，则参考视频序列所在视频在时间上落后查找视频序列所在视频t秒；

4.5)、根据得到的时间偏差t对两个摄像头所拍视频序列进行调整，完成二者的同步。

2.根据权利要求1所述的同步方法，其特征在于，步骤(4)中所述轮廓q_i与轮廓g_j的相似度通过以下方法得到：

4.1.1)、两幅轮廓的缩放配准

首先，求轮廓q_i与轮廓g_j的R变换，然后根据R变换确定轮廓q_i与轮廓g_j的缩放比例；

4.1.2)、两幅轮廓的配准位置

分别计算轮廓q_i与轮廓g_j内部所有像素点坐标的均值作为各自轮廓的参考中心位置，参考中心位置分别为(A_x,A_y)和(B_x,B_y)；

选取以参考中心位置(B_x,B_y)为中心的21像素×21像素范围，该范围中任一个点(B′_x,B′_y)均作为轮廓g_j的中心位置与参考中心位置(A_x,A_y)进行配准，其中：

B′_x∈B_x-10,B_x+10],B′_y∈[B_y-10,B_y+10]；

由此获得轮廓q_i与轮廓g_j的441种配准方式；

4.1.3)、计算轮廓相似度

轮廓q_i与轮廓g_j完成配准后可进行相似度的计算，令轮廓内部像素点为1，轮廓外部像素点为0，定义轮廓q_i与轮廓g_j的轮廓相似度为：

其中，q_i∩g_j为轮廓q_i与轮廓g_j中像素点进行与运算后结果为1的点数，q_i∪g_j为轮廓q_i与轮廓g_j中像素点进行或运算后结果为1的点数；

轮廓q_i与轮廓g_j存在441种不同位置配准方式，完成所有配准位置相似度计算后，取最大值，作为轮廓q_i与轮廓g_j最终的相似度用于公式(2)的计算。