[发明专利]一种基于缝合线时空优化的双摄像机全景视频拼接方法

权利要求书

1.一种基于缝合线时空优化的双摄像机全景视频拼接方法，其特征在于：基于图割算法，增加边缘、边缘视差约束，联合时空优化，计算最优的缝合线；为了保持全景视频的时空连续性，使用前景检测算法和高斯滤波器平滑缝合线序列，再对计算的缝合线序列作质量评估，依据缝合线的质量对待拼接图像线性融合，获得鬼影更少，视觉质量更高的全景视频；具体实现步骤如下：

步骤一、视频预对齐；

步骤二、通过求解区域项和边界项计算单帧缝合线；

步骤三、平滑缝合线序列，输出平滑后的缝合线；

步骤四、对经过步骤三平滑后的缝合线质量进行评估；

步骤五、线性融合，得到全景视频；

至此，从步骤一到步骤五，完成了一种基于缝合线时空优化的视频拼接方法；

步骤二对于第i个视频帧，通过最小化能量函数E使用图割算法求解得到该视频帧的缝合线，能量函数E如公式(1)所示，其中R和B如公式(2)和公式(3)所示：

R＝k₁*E_fg+k₂*E_e (2)

B＝k₃*E_p+k₄*E_c+k₅*E_d (3)

其中J＝[i-1，i+1]，N表示J中元素的个数；系数λ表示权值，参数范围是0.7到1.3；R是区域项，表示像素属于背景或者前景；B是边界项，表示像素的相似度；像素的相似度越大，B的值越大；否则越小；其中k₁、k₂、k₃、k₄和k₅表示权重；

步骤2.1构建由前景项E_fg和边缘项E_e组成的区域项R，R的定义如公式(2)所示，前景项E_fg和边缘项E_e的定义分别如公式(5)和公式(7)所示：

FG_st＝FG_s|FG_t (4)

C_st＝C_s|C_t (6)

其中，FG_s和FG_t是指在待拼接的两幅图像中检测出的运动物体所占区域，它们构成前景检测结果；前景图像像素点值为1属于前景；像素点值为0属于背景；|符号表示和运算，FG_st表示图像FG_s和FG_t前景的并集；C_s和C_t是对待拼接图像进行边缘检测后，所有检测出的边缘集合；边缘图像像素点值为1属于边缘；像素点值为0属于非边缘；|符号表示和运算，C_st表示图像c_s和c_t边缘图像的并集；value代表视频帧中前景区域和非边缘区域像素的能量值，取值范围是1000到1000000；公式(2)中k₁、k₂参数的范围是0.4到0.6；

步骤2.2构建由边缘视差项E_p、颜色项E_c和差异项E_d组成边界项B，B的定义如公式(3)所示，边缘视差项E_p、颜色项E_c和差异项E_d的定义分别如公式(8)、(9)和公式(10)所示：

E_p(p，q)＝coor(||p-q||) (8)

E_c(p，q)＝∑_r，g，bcolor(||p-q||) (9)

E_d(p，q)＝f_c(p)*D(p)+f_c(q)*D(q) (10)

D＝|G_s-G_t| (11)

其中，coor(||p-q||)表示两路待拼接视频第i个视频帧中在边缘上相对应像素p，q坐标的欧式距离；color(||p-q||)表示两路待拼接视频第i个视频帧中相对应像素p，q颜色的差值；G_s和G_t是将输入的待拼接图像的红、绿、蓝三个通道的色彩值合并为一个通道的灰度值，所得到的灰度图，使用D表示G_s和G_t的差异图；f_c(p)表示像素p的差异值D(p)的权重；r、g和b表示视频帧的三个通道；p_i表示在第i帧上和像素p相对应的像素，δ表示所有帧的p_i的方差，g(coor(||p-p_i||))表示以coor(||p-p_i||)为均值的高斯函数；公式(3)中k₃、k₄和k₅参数的范围是0.1到0.5；

构建由区域项R和边界项B组成的能量项E，如公式(1)所示；使用图割算法最小化能量项E，计算得到单帧缝合线。