[发明专利]一种基于运动场多路摄像头进行视频拼接的方法

权利要求书

1.一种基于运动场多路摄像头进行视频拼接的方法，其特征在于：包括重叠区域计算模块、特征点提取模块、图像单应性矩阵计算模块、图像融合裁剪模块；

所述重叠区域计算模块设置各镜头的前景提取模块、跨镜头的前景匹配模块；

所述特征点提取模块设置单帧特征点子提取模块、单帧特征点匹配子模块、多帧特征点对融合模块；

其中，各镜头的前景提取模块工作原理为：1)对各镜头的视频，建立背景模型，从中分割出前景；2)对各镜头的前景按行和列的形式，分别计算各行和列的前景点比率，将各个时刻的计算结果进行存储；

跨镜头的前景匹配模块工作原理为：对需要拼接的两镜头A和B根据其拼接模式，选择相应的计算模式，左右拼接按列前景点比率计算，上下拼接按行前景点比率进行计算；

单帧特征点子提取模块工作原理为：对两镜头的重叠区域是否存在一定比率的前景，若存在，则对当前的前景区域，用局部特征提取算子进行特征点提取；

单帧特征点匹配子模块工作原理为：在对两镜头的重叠区域提取得到特征点后，对各特征点进行特征描述(如SIFT，SURF，ORB)，并对其进行特征点匹配(可采用最近邻法)，并采用对最终的匹配结果进行过滤(如RANSAC)；

多帧特征点对融合模块工作原理为：在对两镜头的单帧图像提取和匹配得到合适的特征点后，将匹配上的特征点对的位置进行存储，通过多帧的累积，在得到足够多的匹配上的点对后(如100对)，对这些点对再采 用RANSAC进行一次过滤，得到过滤后的n对点对：P₁(p_A1，p_B1)，P₂(p_A1，p_B1)，......，P_n(p_A1，p_B1)；

图像单应性矩阵计算模块工作原理为：利用两个镜头中多帧所匹配上的n对点对P₁(p_A1，p_B1)，P₂(p_A1，p_B1)，......，P_n(p_A1，p_B1)，求解Homegraph矩阵方程SM＝D，得到两镜头的矩阵映射关系矩阵M；

图像融合裁剪模块工作原理为：在求解得到两镜头的映射矩阵，可按一般的处理方法，对图像进行拼接处理。

2.如权利要求1所述的一种基于运动场多路摄像头进行视频拼接的方法，其特征在于：跨镜头的前景匹配模块对对需要拼接的两镜头A和B按如下方式进行计算：

1)以镜头A中靠近边界的某行或列(设为R_A)为中心，往前后各取若干帧，以各行或列的的前景点比率作为各分量，形成一向量a；

2)对镜头A中各视频帧，判断向量a是否需要保留，判别规则是该向量中前景点比率值，与上一次保存的前景点比率值要出现交错；

3)若需保留，则将向量a保存为a_t(t表示为第t帧)，并存储于V_A中；同时对镜头B中各行或各列，按以上规则形成多个向量b_1t，b_2t，b_3t，.......，b_nt(n表示以第n行或列为中心，t表示为第t帧)，并将各向量存储于V_B中；

4)在V_A中存储的向量，超过给定阈值后(如200)，则综合V_B中向量进行计算，得到镜头B中与A中R最为匹配的行或列R_B，将R_B作为匹配上的结果，从而得到两镜头的重叠区域。