[发明专利]用于全景视频的补盲方法

说明书

本发明涉及一种用于全景视频的补盲方法，包括下列步骤：1）盲区指定：确定全景图像中的盲区以及包围在所述盲区周围的图像重叠区，获得包含所述盲区和图像重叠区对应场景图像的补盲图像；2）图像匹配：进行特征点检测及特征点的匹配，获得若干匹配点对；3）图像变换：采用最小二乘法估算补盲图像与全景图像件的变换关系，获得图像变换矩阵或图像变换参数；4）图像融合：依据图像变换矩阵或图像变换参数，将补盲图像变换至全景坐标系下，与全景图像融合，形成补盲后全景图像。本发明能够以便将补盲画面融入全景画面当中，用户不仅可直接在全面画面的对应位置看到盲区情形，而且补盲画面与全景画面有较好的融合，使补盲显示清晰直观。

技术领域

本发明涉及一种用于全景视频的补盲方法。

背景技术

图像拼接是将几幅具有不同视角但包含一定图像重叠区的图像拼成一幅全景图像，被广泛应用于安防监控、遥感图像处理、医学图像分析、虚拟现实等领域。尤其对于机场、广场等大视野场景，利用图像拼接技术得到的全景视频可一目了然地呈现场景全貌，相比将各个单路视频简单排列显示，具有全面、直观等不可比拟的优点。

由于视角、遮挡等原因，在全景视频中仍有可能存在部分用户感兴趣区域不能很好呈现。例如，在机场全景视频中，远处跑道及远机位一般都很清楚，但近机位可能由于廊桥遮挡等原因存在一定盲区。本专利旨在提出一种在全景视频中的补盲方法，融合补盲视频与全景视频，以更为直观的方式将全景补盲区域呈现给用户。

在全景中呈现细节或补盲的主要方式包括：球机关联和枪机关联。

球机关联：在全景之外再单独使用一个球机，并将球机不同PTZ状态下的画面与全景画面进行关联。当用户点击全景中某一感兴趣区域时，球机随即转到相应位置，以较高分辨率显示该区域画面，也称“一点即视”，如果结合运动目标检测、跟踪技术，还可进一步实现“球机自动追视”。球机关联的主要优点在于可以交互式地显示用户感兴趣区域的细节；如果点位布设恰当，也能起到补盲作用，但对用户持续关注的盲区，更好的方式是采用枪机关联。

枪机关联：与球机不同，枪机以固定视角与视野拍摄目标，能够持续显示全景视频中用户关注的盲区或局部细节。

但无论球机关联还是枪机关联，都是在全景画面之外以独单画面的形式显示盲区。对用户而言，全景与盲区的对应关系不够清晰直观，特别当全景中存在多个盲区，有多个补盲画面并存时，问题尤显突出。

发明内容

为解决上述技术问题，本发明提供了一种用于全景视频的补盲方法，以便将补盲画面融入全景画面当中，用户不仅可直接在全面画面的对应位置看到盲区情形，而且补盲画面与全景画面有较好的融合，使补盲显示清晰直观。

本发明的技术方案是：一种用于全景视频的补盲方法，包括下列步骤：

1)盲区指定：确定全景图像中的盲区(需要进行补盲的区域，或称全景盲区，或不可见区域)以及包围在所述盲区周围的图像重叠区，获得包含所述盲区和图像重叠区对应场景图像的补盲图像；

2)图像匹配：在全景图像的图像重叠区进行特征点检测，以相同的特征点检测方式在补盲图像中进行特征点检测，进行全景图像和补盲图像相应特征点的匹配，获得若干匹配点对；

3)图像变换：根据全景图像和补盲图像上的若干匹配点对，采用最小二乘法估算补盲图像与全景图像件的变换关系，获得图像变换矩阵或图像变换参数；

4)图像融合：依据图像变换矩阵或图像变换参数，将补盲图像变换至全景坐标系下，与全景图像融合，全景图像中的盲区图像由补盲图像相应区域的图像替代，形成补盲后全景图像。

所述全景图像通常可以由若干全景场景摄像机拍摄的视频图像拼接而成。

所述补盲图像可以为补盲场景摄像机拍摄的视频图像。