[发明专利]一种视频图像拼接方法

说明书

一种视频图像拼接方法，包括：获取两路视频图像信号；分别计算第一路视频图像的第一帧图像与第二路视频图像的所有帧图像的相关性；当相关性最大的一组帧图像大于设定阈值时，将第一路视频图像的第一帧图像与对应的第二路视频图像的帧图像进行帧图像匹配；根据帧图像间变换矩阵，对第二路视频图像的帧图像进行变换形成拼接图；将待拼接第二路视频图像的帧图像依次映射到到第一路视频图像完成拼接。本发明显著的提高了视频图像拼接的实时性，实现无缝连接，提高了视频图像拼接的准确性，该方法在实时显示、图像显示效果方面大大增强，增强用户观感。

技术领域

本发明涉及视频图像处理技术领域，具体地涉及一种视频图像拼接方法。

背景技术

图像拼接在实际的应用场景很广，比如无人机航拍，遥感图像等等，图像拼接是进一步做图像理解基础步骤，拼接效果的好坏直接影响接下来的工作，所以一个好的图像拼接方法非常重要。图像的拼接技术包括三大部分：特征点提取与匹配、图像配准、图像融合。

但是现有的图像拼接方法速度慢，尤其是视频图像的拼接实时性交叉，不能够达到工业应用的程度，或者只针对特定视频图像进行拼接，例如发明专利CN106454152A提供了一种视频图像拼接方法、装置和系统，该发明通过提取至少两个图像特征数据，基于特征数据进行拼接，速度非常慢。专利CN108495060A中，要对视频图像解码，然后通过对运动物体检测，对视频图像进行区域划分，查找缝合线，并通过运动物体查找最佳缝合线，该方法准确率较差且该专利的计算方法冗余度较高。因此需要一个实时性强、计算量少、冗余度低的方法，并提供视频图像拼接效果和效率。

发明内容

为解决上述技术问题，本发明提供一种视频图像拼接方法，通过对两路视频图像的帧图像的选取以及拼接图像的匹配实现视频图像拼接，本发明的一种视频图像拼接方法显著的提高了视频图像拼接的实时性，实现无缝连接，提高了视频图像拼接的准确性，该方法在实时显示、图像显示效果方面大大增强，增强用户观感。本发明是这样实现的：

一种视频图像拼接方法，包括：获取两路视频图像信号；分别计算第一路视频图像的第一帧图像与第二路视频图像的所有帧图像的相关性；当相关性最大的一组帧图像大于设定阈值时，将第一路视频图像的第一帧图像与对应的第二路视频图像的帧图像进行帧图像匹配；根据帧图像间变换矩阵，对第二路视频图像的帧图像进行变换形成拼接图；将待拼接第二路视频图像的帧图像依次映射到到第一路视频图像完成拼接；

其中，计算相关性过程如下：

X是n×p的第一路视频图像的第一帧图像矩阵，Y是n×q的第二路视频图像的帧图像矩阵，两路帧图像数据集中分别包含h和w个像素点X^t是矩阵的转置，tr(·)是图像矩阵的迹，RV系数的值在0到1之间，如果RV为0，则表示两个帧图像是独立的不相关的，如果RV为1，则帧图像X与帧图像Y等同；

帧图像匹配过程为：首先，图像序列之间进行投影变换，将第二路视频图像的帧图像的第一列像素投影至第一路视频图像的帧图像的第二列，依次类推，对投影变换后的图像进行相似性度量，当相似性度量J最小时，即完成匹配，相似性度量：

其中i，j分别表示投影后的图像像素的位置信息中的横坐标与纵坐标，l是连接位置信息自适应系数，R_i表示拼接区域的横坐标均值信息，R_j表示拼接区域的纵坐标均值信息，x_j是投影后图像空间中的一个数据点，m_i是投影后图像区域c_i的均值，所述投影后图像区域c_i为帧图像拼接初始列的前后N列，且N〉2。

优选地，当相关性最大的一组帧图像小于设定阈值时，则计算第一路视频图像的第二帧图像与第二路视频图像的所有帧图像的相关性。