[发明专利]基于混合相机阵列的光场视频成像系统及视频处理方法

权利要求书

1.一种基于混合相机阵列的光场视频成像系统，其特征在于：包括控制云台、图像处理单元、存储单元以及安装于所述控制云台的混合相机阵列；

所述混合相机阵列包括至少一全局相机、至少一全局光场相机以及多个局部相机；所述全局相机、所述全局光场相机以及所述多个局部相机同步地分别获取一预定场景的全局低分辨率参考视频、全局低分辨率光场视频以及多个不同局部的高分辨率视频，并存储于所述存储单元中；

所述图像处理单元连接于存储单元，用于对全局低分辨率参考视频、全局低分辨率光场视频以及多个所述高分辨率视频的每一组同步帧图像进行图像处理，以得到全局高分辨率光场视频；其中，一组同步帧图像包括来自所述参考视频的一全局参考图像、来自所述光场视频的一全局光场图像和来自多个所述高分辨率视频的多个局部图像，所述图像处理包括以下步骤S1至S4：

S1、块匹配：采用块匹配算法找到每个局部图像在所述全局参考图像中的对应块；

S2、变换和配准：将每个局部图像变换到所述全局参考图像中的对应块上，并对每个局部图像和其对应块进行图像配准，以获得所述预定场景的全局高分辨率图像；

S3、图像超分辨：对低分辨率的全局光场图像进行放大设定倍数的上采样，得到采样后低分辨率光场图像，对所述采样后低分辨率光场图像进行傅里叶变换，得到第一频谱图像，将所述第一频谱图像进行低通滤波；以及，对所述全局高分辨率图像进行高通滤波，得到第二频谱图像；

S4、融合恢复：将经低通滤波的第一频谱图像与所述第二频谱图像线性相加后进行傅里叶逆变换，得到全局高分辨率光场图像。

2.如权利要求1所述的光场视频成像系统，其特征在于：步骤S2还包括对每个局部图像进行颜色校正，以使局部图像与所述全局参考图像保持颜色一致。

3.如权利要求1所述的光场视频成像系统，其特征在于：所述局部相机的焦距为所述全局相机的焦距的8倍以上。

4.一种视频处理方法，其特征在于：用于对同步采集的同一场景的全局低分辨率参考视频、全局低分辨率光场视频以及该场景的多个不同视角的局部高分辨率视频进行一融合处理，以得到该场景的全局高分辨率光场视频；

所述融合处理包括对所述参考视频、所述光场视频以及多个所述局部高分辨率视频的每一组同步帧图像执行以下步骤S1至S4：

其中，一组同步帧图像包括来自所述参考视频的一全局参考图像、来自所述光场视频的一全局光场图像和来自多个所述高分辨率视频的多个局部图像；所述步骤S1至S4为：

S1、块匹配：采用块匹配算法找到每个局部图像在所述全局参考图像中的对应块；

S2、变换和配准：将每个局部图像变换到所述全局参考图像中的对应块上并进行配准，以获得所述场景的全局高分辨率图像；

S3、图像超分辨：对低分辨率的全局光场图像进行放大设定倍数的上采样，得到采样后低分辨率光场图像，对所述采样后低分辨率光场图像进行傅里叶变换，得到第一频谱图像，将所述第一频谱图像进行低通滤波；以及，对所述全局高分辨率图像进行高通滤波，得到第二频谱图像；

S4、融合恢复：将经低通滤波的第一频谱图像与所述第二频谱图像线性相加后进行傅里叶逆变换，得到全局高分辨率光场图像。

5.如权利要求4所述的视频处理方法，其特征在于：步骤S2还包括对每个局部图像进行颜色校正，以使局部图像与所述全局参考图像保持颜色一致。

6.如权利要求4所述的视频处理方法，其特征在于：步骤S1中采用零均值归一化互相关块匹配算法进行块匹配，以找到每个局部图像在所述全局参考图像中的对应块，得到各局部图像与所述全局参考图像的像素匹配关系。