[发明专利]一种基于运动目标时序信息的视频序列同步方法

摘要

本发明公开了基于运动目标时序信息的视频序列同步方法，首先计算两个摄像头所拍摄视频图像之间的单应矩阵，根据该矩阵，将查找视频序列映射到参考视频序列平面，对视频序列进行背景减除处理，分别获取两个视频序列中运动目标轮廓序列，然后进行配准，获得匹配视频序列，并进行筛选，得到一个最终的匹配视频序列，这样获得时间偏差用于视频序列的同步。本发明引入单应矩阵，将将查找视频序列映射到参考视频序列平面，解决了视频图像之间的视觉差异问题，提高了视频图像相似度比较的准确性；同时，本发明利用运动目标在时间上的序列信息进行视频序列的匹配，而运动目标的姿态变化是一个合适的特征，可以准确匹配，从而进一步提高时间偏差计算的准确度，从而提升其同步效果。

主权项

1.一种不同摄像头所拍视频序列的同步方法，其特征在于，包括以下步骤：(1)、计算两个摄像头对存在运动目标的同一场景所拍摄视频图像I₁、I₂之间的单应矩阵H1.1)、对于两个摄像头分别同时拍摄的、存在运动目标的同一场景的两段视频序列，首先分别选取一帧视频图像I₁、I₂进行SURF特征点检测，得到两帧带特征点的视频图像I′₁、I′₂，然后通过人工剔除视频图像I′₁、I′₂中那些位于运动目标内的特征点，得到视频图像I″₁、I″₂，再后将视频图像I″₁的中特征点与视频图像I″₂中的特征点进行匹配，得到一系列的特征点匹配对；1.2)、基于随机抽样一致算法，对特征点匹配对进行筛选，去除误匹配的特征点匹配对，得到特征点匹配对集合S；1.3)、根据特征点匹配对集合S，计算两段视频序列的视频图像之间的变换矩阵即单应矩阵H，单应矩阵H根据以下公式计算：其中，(x₁,y₁)为特征点匹配对位于视频图像I″₁中的特征点坐标，(x₂,y₂)为特征点匹配对位于视频图像I″₂中的特征点坐标；(2)、将查找视频序列映射至参考视频序列平面取视频序列V₂中长度不小于运动目标一个运动周期的小段视频序列为查找视频序列V_s，将视频序列V₁作为参考视频序列V_r；然后根据公式(1)中得到的单应矩阵H，将查找视频序列V_s映射至参考视频序列V_r所在平面，即查找视频序列V_s中的每一帧视频图像的每个像素点坐标作为(x₂,y₂)代入公式(1)中，计算出其新的像素点坐标(x₁,y₁)，得到查找视频序列V_s′；(3)、背景减除与获取运动目标轮廓基于混合高斯背景建模，针对查找视频序列V_s′和参考视频序列V_r分别获取场景背景，再分别与各自对应的视频序列进行背景减除处理；在背景减除结果中获取运动目标轮廓，得到两个轮廓序列，分别为查找轮廓序列Q和参考轮廓序列G；(4)、基于运动目标轮廓匹配对视频序列进行同步4.1)、获取匹配视频序列的终点帧序数令查找轮廓序列Q＝(q₁,q₂,…,q_L)，参考轮廓序列G＝(g₁,g₂,…,g_M)，定义价值矩阵C，其元素为：其中，L为查找轮廓序列Q的帧数，M为参考轮廓序列G的帧数，为轮廓q_i与轮廓g_j的相似度；定义累积价值矩阵D，其元素根据以下方式计算得到：第1列元素为：其中，1≤i≤L；第1行元素：d_1,j＝c_1,j，其中，1≤j≤M；然后，按行或按列依据以下公式得到其他元素：d_i,j＝min(d_i‑1,j‑1,d_i‑1,j,d_i,j‑1)+c_1,j，其中，2≤i≤L，2≤j≤M      (3)；得到累积价值矩阵D后，进行配准即求查找视频序列在参考视频序列上的匹配视频序列的终点帧序数b^*：其中，arg min表示L行的元素d_L,b取极小值时，列变量b的值，即终点帧序数b^*；4.2)、获取匹配视频序列根据步骤4.1)中方法，获取匹配视频序列的终点帧序数b^*多个，如果终点帧序数b^*小于L，则删除，这样得到P个终点帧序数b^*，记为：然后，根据最优规整路径算法，求得P个匹配视频序列，其在参考视频序列的位置分别表示为：其中，分别P个匹配视频序列的起始点帧序数；4.3)、筛选匹配视频序列设定一个阈值S_lope，如果匹配视频序列的斜率不满足：则予以剔除；此外，匹配视频序列的数量为P*；再分别计算经过斜率筛选的每个匹配视频序列与查找轮廓序列Q＝(q₁,q₂,…,q_L)中对应帧基于R变换的缩放比例其中，计算每个匹配视频序列中所有帧的缩放比例均值α^p：α^p最小即均值最接近1的匹配视频序列即为最终筛选得到的匹配视频序列；4.4)、计算视频序列的时间偏差查找视频序列V_s的第一帧序数为n，最终筛选得到的匹配视频序列第一帧序数为n'，两个摄像头拍摄视频的帧率均为f，则视频序列的时间偏差为t＝|n‑n'|/f，若n>n'，则查找视频序列所在视频在时间上落后参考视频序列所在视频t秒，反之，则参考视频序列所在视频在时间上落后查找视频序列所在视频t秒；4.5)、根据得到的时间偏差t对两个摄像头所拍视频序列进行调整，完成二者的同步。