[发明专利]一种基于光流的视频拼接方法

权利要求书

1.一种基于光流的视频拼接方法，其特征在于，包括如下步骤：

步骤S1：从待拼接的两段视频中读取同步的左右帧图像，并进行预处理；所述预处理为：对读取到的左右帧图像进行相机参数矫正；

步骤S2：计算左右帧图像对应的公共区域，形成待拼接视频帧之间的公共区域，并对公共区域做密集光流估计；

步骤S3：将公共区域的密集光流聚类成如下三类：远景区域、地面近景区域和运动物体区域；

步骤S4：对待拼接视频帧之间的非公共区域进行光流的延伸估计，并将非基准帧按照光流投影到基准帧上构成初步全景图；其中：

非公共区域中光流的获得来源于公共区域，将非公共区域中聚类成远景区域和地面近景区域，非公共区域中远景区域的光流来源于公共区域中远景区域光流的均值，非公共区域中地面近景区域的光流来源于公共区域中地面近景区域光流的均值；非公共区域中的光流求出以后，基于光流将非基准帧映射到基准帧构成初步全景图；在所述初步全景图中，公共区域拼接后的图像像素值取左右帧图像中对应像素点像素值的加权平均，如果公共区域中像素点靠近左边界，则左帧图像像素值的权值越大，反之，则右帧图像像素值的权值越大；

步骤S5：对初步全景图中的遮蔽区域进行检测与校正，得到最终全景图，再将全景图编码成为全景视频；

步骤S6：返回步骤S1，读取下一对左右帧图像。

2.根据权利要求1所述的一种基于光流的视频拼接方法，其特征在于，步骤S2中，首先计算出左右图像帧对应的公共区域，然后再计算公共区域间的密集光流；对于待拼接视频帧之间的公共区域，计算出第一对左右帧图像对应的公共区域，后面的左右帧图像沿用即可。

3.根据权利要求1所述的一种基于光流的视频拼接方法，其特征在于，公共区域和/或非公共区域中聚类采用K-means方法。

4.根据权利要求1所述的一种基于光流的视频拼接方法，其特征在于，步骤S5中，将初步全景图中公共区域的像素点与基准帧的对应像素点的像素值进行比较，当差值的绝对值大于设定的阈值时，则认为该差值对应的部分为遮蔽区域；使用腐蚀膨胀方法对遮蔽区域进行后处理，得到最终的遮蔽区域；通过参照基准帧对应像素点和初步全景图中该像素周围的像素点，遮蔽区域得到校正，从而将初步全景图转化成为最终全景图；得到校正后的最终全景图后，通过编码得到最终全景视频。

5.根据权利要求1至4中任一项所述的一种基于光流的视频拼接方法，其特征在于，所述基准帧为定位最终全景图视角的帧图像，且在视频处理过程中基准帧保持不变，其他方向的帧图像均为非基准帧。