[发明专利]用于全景视频的补盲方法

权利要求书

1.一种用于全景视频的补盲方法，包括下列步骤：

盲区指定：确定全景图像中的盲区以及包围在所述盲区周围的图像重叠区，获得包含所述盲区和图像重叠区对应场景图像的补盲图像，所述补盲图像为补盲场景摄像机拍摄的视频图像；

图像匹配：在全景图像的图像重叠区进行特征点检测，以相同的特征点检测方式在补盲图像中进行特征点检测，进行全景图像和补盲图像相应特征点的匹配，获得若干匹配点对；

图像变换：根据全景图像和补盲图像上的若干匹配点对，采用最小二乘法估算补盲图像与全景图像件的变换关系，获得图像变换矩阵或图像变换参数；

图像融合：依据图像变换矩阵或图像变换参数，将补盲图像变换至全景坐标系下，与全景图像融合，全景图像中的盲区图像由补盲图像相应区域的图像替代，形成补盲后全景图像。

2.如权利要求1所述的方法，其特征在于所述全景图像由若干全景场景摄像机拍摄的视频图像拼接而成。

3.如权利要求1所述的方法，其特征在于依据同一时间的全景图像和补盲图像，离线进行图像匹配和图像变换，依据离线计算获得的变换矩阵，在线进行图像融合，定期更新图像融合参数。

4.如权利要求1所述的方法，其特征在于以手动交互的方式在全景图像中框选出盲区和图像重叠区，其中所述盲区位于图像重叠区内，所述图像重叠区为位于盲区外的相应框选区域。

5.如权利要求1所述的方法，其特征在于基于ORB算法提取图像特征并进行相应的特征点匹配。

6.如权利要求5所述的方法，其特征在于以角点为特征点，所述特征点检测为角点检测，采用快速FAST算子进行角点检测，以灰度质心法计算特征点主方向，以改进的BRIEF描述子描述角点特征。

7.如权利要求6所述的方法，其特征在于采用RANSAC算法估计图像变换矩阵。

8.如权利要求1-7任一项所述的方法，其特征在于补盲后全景图像在盲区内各点的像素值为补盲图像的相应像素值，在图像重叠区外各点的像素值为全景图像的相应像素值，在图像重叠区内各点的像素值为全景图像和补盲图像的相应像素值的加权平均值，在图像重叠区的内侧区域，补盲图像的权重系数大于全景图像的权重系数，在图像重叠区的外侧区域，全景图像的权重系数大于补盲图像的权重系数，全景图像的权重系数和补盲图像的权重系数之和为1。

9.如权利要求8所述的方法，其特征在于在补盲图像与全景图像融合前，进行色差矫正。

10.如权利要求9所述的方法，其特征在于色差矫正后，在全景图像与补盲图像的图像重叠区中寻找二者差异最小的封闭曲线，以该封闭曲线作为缝合线，在位于缝合线外侧的图像重叠区，补盲图像的权重系数依据像素点与缝合线之间的距离确定，距离越大，权重系数越小，在位于缝合线内侧的图像重叠区，全景图像的权重系数依据像素点与缝合线之间的距离确定，距离越大，权重系数越小。