[发明专利]一种基于运动目标时序信息的视频序列同步方法

说明书

本发明公开了基于运动目标时序信息的视频序列同步方法，首先计算两个摄像头所拍摄视频图像之间的单应矩阵，根据该矩阵，将查找视频序列映射到参考视频序列平面，对视频序列进行背景减除处理，分别获取两个视频序列中运动目标轮廓序列，然后进行配准，获得匹配视频序列，并进行筛选，得到一个最终的匹配视频序列，这样获得时间偏差用于视频序列的同步。本发明引入单应矩阵，将将查找视频序列映射到参考视频序列平面，解决了视频图像之间的视觉差异问题，提高了视频图像相似度比较的准确性；同时，本发明利用运动目标在时间上的序列信息进行视频序列的匹配，而运动目标的姿态变化是一个合适的特征，可以准确匹配，从而进一步提高时间偏差计算的准确度，从而提升其同步效果。

技术领域

本发明属于计算机视觉技术领域，更为具体地讲，涉及一种基于运动目标时序信息的视频序列同步方法。

背景技术

在不同摄像头，如双目摄像头的实际应用中，不同摄像头所拍摄的视频，会由于机器开机卡顿、延迟等原因导致两个视频在时间上存在一定程度的偏差。而在很多宽范围场景下，需要对双目摄像头拍摄的视频进行拼接，再对基于拼接后的视频进行目标追踪等操作，如果存在这样的时间偏差会对视频拼接的效果及目标跟踪的准确性造成较大影响。因此，对于不同摄像头所进行的视频序列同步研究，即找到两个摄像头下相同帧即视频序列进行同步具有一定的现实意义。

目前，针对不同摄像头，如双目摄像头所拍视频序列的同步研究还不是特别多，主要方法是基于视频序列中的单组对应帧之间的匹配或基于场景中的运动对象轨迹的分析。这些方法，往往忽视了不同摄像头所拍摄图像在空间中存在的视角差异以及图像在时间上的序列相关性信息，造成两路视频序列时间偏差计算不准确，同步的效果不佳。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于运动目标时序信息的视频序列同步方法，以提高两路视频序列时间偏差计算的准确度，从而提升其同步效果。

为实现上述发明目的，本发明基于运动目标时序信息的视频序列同步方法，其特征在于，包括以下步骤：

(1)、计算两个摄像头对存在运动目标的同一场景所拍摄视频图像I₁、I₂之间的单应矩阵H

1.1)、对于两个摄像头分别同时拍摄的、存在运动目标的同一场景的两段视频序列，首先分别选取一帧视频图像I₁、I₂进行SURF(加速鲁棒特征)特征点检测，得到两帧带特征点的视频图像I₁′、I₂′，然后通过人工剔除其中(视频图像I₁′、I₂′中)那些位于运动目标内的特征点，得到视频图像I₁″、I₂″，再后将视频图像I₁″的中特征点与视频图像I₂″中的特征点进行匹配，得到一系列的特征点匹配对；

1.2)、基于RANSAC(随机抽样一致)算法，对特征点匹配对进行筛选，去除误匹配的特征点匹配对，得到的特征点匹配对集S；

1.3)、根据特征点匹配对集合S，计算两段视频序列的视频图像之间的变换矩阵即单应矩阵H，单应矩阵H根据以下公式计算：

其中，(x₁,y₁)为特征点匹配对位于视频图像I₁″中的特征点坐标，(x₂,y₂)特征点匹配对位于视频图像I₂″中的特征点坐标；

(2)、将查找视频序列映射至参考视频序列平面