[发明专利]一种基于多尺度相机阵列的视频成像系统及视频处理方法

说明书

基于多尺度相机阵列的视频成像系统及视频处理方法，系统包括控制云台、视频处理单元和相机阵列；相机阵列包括多个局部相机和至少一个全局参考相机；全局参考相机利用较短焦距镜头采集一预定场景的低分辨率全局参考视频，多个局部相机分别采用较长焦距镜头采集预定场景内的不同局部高分辨率视频；视频处理单元：为每一个局部相机找到其在全局参考相机中的对应区域；通过非均匀图像扭转算法将各局部视频与全局参考视频中的对应区域对齐；将扭曲后的所述较高分辨率的局部视频嵌入到所述较低分辨率的全局参考视频中，形成较高分辨率的全局视频。

技术领域

本发明涉及图像视频采集和处理领域，尤其涉及一种基于多尺度相机阵列的视频成像系统及视频处理方法。

背景技术

近年来，计算机视觉方面的检测和识别算法在性能上取得了巨大的突破。然而，视觉算法的性能本质上仍取决于输入的图像视频数据的质量，而图像视频的捕获则受光学成像系统中镜头和传感器的时空带宽积限制。在实时帧率采集下，空间分辨率难以突破亿级像素，宽视场范围和高细节分辨率之间存在难以调和的矛盾，视觉计算因此难以兼顾检测识别的范围与检测识别的准确度。

最近出现的“十亿像素级视频”采集，突破了人眼视觉信息捕获的极限，可实现多尺度超高分辨率视频捕获，宽空间捕获范围和高空间分辨率都将得到满足，能极大提高视觉计算的性能，推动计算机视觉及人工智能各领域如安防监控、无人机、无人车等的技术发展。然而，受限于大规模相机阵列所涉及的海量数据对搭建、标定、拼接、处理及硬件成本所带来的挑战，十亿像素级视频的采集硬件的搭建和视频采集存在巨大的技术和资金门槛，围绕十亿像素视频的相关研究让众多科研学者望而却步。

十亿像素的成像通常利用可精确控制相机方向的云台，或是相机阵列来实现。Kopf首先提出用一个电机控制的云台和配备长焦镜头的单反相机来采集静态十亿像素图像。随后，Pirk在此基础上增加了一个相机来采集视频片段，并将这些视频片段嵌入到十亿像素图像中。目前，这种利用云台来拍摄静态十亿像素图像的方案已经比较成熟，已经有商业产品如gigapa出现。这种方案成本低，算法成熟，但是只能采集静态的图像。D.Brady提出了包含98个相机的AWARE-2相机阵列。相比于之前的相机阵列相机，AWARE-2相机阵列采用了多重光学镜头的设计，大大地减小了相机阵列的体积和重量，并且可以达到每秒几帧的采集速度。但是AWARE-2相机阵列需要事先标定和特制的物镜，搭建成本高，难度大，灵活性低。F.Perazzi提出了未标定相机阵列的视频拼接算法，但是这个相机阵列采用了小焦距相机，主要是增加了采集到的视频的FOV，在空间分辨率上并没有提升。此外，这种方式设计的相机阵列需要保证相邻的相机之间有足够大的重叠区，整个算法的复杂度高，可并行度低，无法实现实时的拼接。而在商业领域，只有一些用来拍摄360度全景视频的产品，作为VR视频的采集设备，如Samsung Gear 360，facebook surround 360等。但是VR设备想要达到好的效果需要非常高视频分辨率，否则会出现非常明显的像素点。然而，目前已有的360度全景视频采集设备分辨率都不高。

发明内容

由于相机光学系统的限制，单个镜头的相机设计已经遇到了瓶颈。因此，工业界和学术界都提出使用相机阵列来代替单个镜头的相机以达到更好的拍摄效果。但是由于相机阵列的不同相机之间存在视差，各自采集的视频的拼接是一个难题。传统的图像视频拼接算法需要同时对所有相机进行处理，效率低、复杂度高并且鲁棒性差。除此之外，传统的阵列相机要求相邻相机之间有足够大的重叠区域，灵活性差。

为此，本发明提出一种基于多尺度相机阵列的视频成像系统及视频处理方法，通过加入全局参考相机，使得每个局部相机可以单独进行处理，降低了算法的复杂度，提升了效率和鲁棒性，同时增加了相机阵列的灵活性，实现简易便捷、高性价比、低码率需求的十亿像素视频生成。

为达上述目的，本发明其中一实施例提供了一种基于多尺度相机阵列的视频成像系统，包括控制云台、视频处理单元以及安装于所述控制云台的相机阵列；