[发明专利]一种多摄像头的视频融合方法及系统

说明书

本发明提出一种多摄像头的视频融合方法及系统，属于视频融合技术领域。方法包括如下步骤：S1：获取多个摄像头拍摄的多个视频图像；S2：从多个视频图像中获得多个时间同步的关键帧；S3：计算多个时间同步的关键帧的帧同步参数Fs；S4：判断帧同步参数Fs是否符合预定条件；如果是，则对多个视频图像执行视频融合；如果否，则调节多个摄像头中至少一个摄像头的拍摄角度，返回步骤S1。系统包括帧同步参数计算模块、摄像头角度调节模块、视频融合模块以及判断模块。本发明通过帧同步参数的判断来执行摄像头角度调节、摄像机标定和/或视频融合，避免了多个不同视频在不同步时融合时导致的画面错乱问题。

技术领域

本发明属于视频融合技术领域，尤其涉及一种多摄像头的视频融合方法及系统、实现所述方法的计算机设备以及计算机可读存储介质。

背景技术

视频融合技术一般指将多个由不同视频采集设备采集的关于某场景或模型的图像序列视频融合，以生成一个新的关于此场景的视频场景或模型。在实际实现中，视频融合通常需要配置多个摄像头同时对包含预定追踪目标或者标准参考目标的区域进行拍摄，分别获得多个摄像头拍摄的多个不同角度视频后执行视频融合以增强显示效果。多个不同摄像头分辨率可能还存在差异。因此，获得的待融合视频无法直接进行帧间融合增强。

现有技术中，在获得多个不同视频数据后，通常通过关键帧配准的方式，找出时间上同步的关键帧进行图像融合。这种方式实现起来简单，但是当视频流产生的速度很快、视频流数据量较大时，会存在明显的延迟；同时，这种方式默认多个摄像机本身的拍摄是时间同步，然而实际应用中不同的摄像机性能不同，实际上保持完全的同步是不可能的。

此外，随着光场成像技术的发展，摄像采集设备逐渐升级为光场相机阵列，光场相机阵列包含多个不同角度可调节的光场相机，光场图像数据本身不同于传统相机拍摄的数据，原有的关键帧同步方法无法适用；并且，同一个光场相机阵列中包含的不同光场相机的拍摄参数(拍摄时间、拍摄速率、拍摄角度)的一致性对后期视频融合带来的影响更为明显。

如何解决现有视频融合技术、尤其是包含光场相机的相机阵列拍摄的多个不同视频融合过程中带来的不同步问题，现有技术有待进一步改进。

发明内容

为解决上述技术问题，本发明提出一种多摄像头的视频融合方法及系统、实现所述方法的计算机设备以及计算机可读存储介质。

在本发明的第一个方面，提供一种多摄像头的视频融合方法，所述方法包括如下步骤：

S1：获取多个摄像头拍摄的多个视频图像；

S2：从所述多个视频图像中获得多个时间同步的关键帧；

S3：计算所述多个时间同步的关键帧的帧同步参数Fs；

S4：判断所述帧同步参数Fs是否符合预定条件；

如果是，则对所述多个视频图像执行视频融合；

如果否，则调节所述多个摄像头中至少一个摄像头的拍摄角度，返回步骤S1。

作为进一步的适配性场景，所述摄像头为光场相机；

在所述步骤S1之前，所述方法还包括：

S01：通过多个所述光场相机获得多个角度的多个光场视频参考图像；

S02：基于所述多个角度的多个光场视频参考图像对光场相机执行校正同步。

具体的，所述步骤S01具体包括：

在所述光场相机的拍摄范围内放置多个标准参考目标；

采用所述光场相机拍摄所述标准参考目标，获得多个角度的多个光场视频参考图像；

所述步骤S02具体包括：