[发明专利]基于混合相机阵列的光场视频成像系统及视频处理方法

摘要

本发明公开了基于混合相机阵列的光场视频成像系统及视频处理方法，包括控制云台、图像处理单元、存储单元和混合相机阵列；混合相机阵列包括全局相机、全局光场相机和多个局部相机，同步地采集同一场景的全局低分辨参考视频、全局光场视频和多个局部高清视频；图像处理单元对每一组同时刻拍摄的参考图像、全局光场图像和多个高清图像进行以下处理：将各局部图像与参考图像进行块匹配，基于匹配结果将局部图像变换到参考图像的对应块上，得到全局高分辨率图像；再基于全局高分辨率图像，对全局光场图像进行超分辨，以得到全局高分辨率光场图像；将所有帧全局高分辨率光场图像合成为全局高分辨率光场视频。

主权项

1.一种基于混合相机阵列的光场视频成像系统，其特征在于：包括控制云台、图像处理单元、存储单元以及安装于所述控制云台的混合相机阵列；所述混合相机阵列包括至少一全局相机、至少一全局光场相机以及多个局部相机；所述全局相机、所述全局光场相机以及所述多个局部相机同步地分别获取一预定场景的全局低分辨率参考视频、全局低分辨率光场视频以及多个不同局部的高分辨率视频，并存储于所述存储单元中；所述图像处理单元连接于存储单元，用于对全局低分辨率参考视频、全局低分辨率光场视频以及多个所述高分辨率视频的每一组同步帧图像进行图像处理，以得到全局高分辨率光场视频；其中，一组同步帧图像包括来自所述参考视频的一全局参考图像、来自所述光场视频的一全局光场图像和来自多个所述高分辨率视频的多个局部图像，所述图像处理包括以下步骤S1至S4：S1、块匹配：采用块匹配算法找到每个局部图像在所述全局参考图像中的对应块；S2、变换和配准：将每个局部图像变换到所述全局参考图像中的对应块上，并对每个局部图像和其对应块进行图像配准，以获得所述预定场景的全局高分辨率图像；S3、图像超分辨：对低分辨率的全局光场图像进行放大设定倍数的上采样，得到采样后低分辨率光场图像，对所述采样后低分辨率光场图像进行傅里叶变换，得到第一频谱图像，将所述第一频谱图像进行低通滤波；以及，对所述全局高分辨率图像进行高通滤波，得到第二频谱图像；S4、融合恢复：将经低通滤波的第一频谱图像与所述第二频谱图像线性相加后进行傅里叶逆变换，得到全局高分辨率光场图像。