[发明专利]基于阵列镜头的图像超分辨率重建方法

说明书

技术领域

本发明涉及一种基于阵列镜头的图像超分辨重建方法，属于图像处理及计算机视觉处理技术领域。

背景技术

超分辨率重建技术是利用图像处理技术提高图像空间分辨率的有效方法，融合同一场景多帧图像之间的互补信息，然后去除噪声和模糊得到一个高分辨率图像，相比于改变硬件设备提高硬件参数经济实用。

现有的图像超分辨率重建方法，需要先利用同一相机连续拍摄同一场景图像，得到多帧图像，或是由视频得到图像序列，然后对得到的多帧图像或是图像序列进行超分辨率重建。利用这样的多帧图像或是图像序列进行超分辨率重建，帧间运动估计是一大技术难点，理论上讲，具有不同深度内容的场景，不存在一个简单的如仿射、但应类似的变换实现不同视角图像的精确配准。特别是对于动态场景，场景中存在运动物体，运动估计非常更加困难。

发明内容

鉴于上述原因，本发明的目的在于提供一种基于阵列镜头的图像超分辨率重建方法，利用阵列镜头获取的阵列图像组，进行超分辨率重建，避免了动态场景的运动估计问题，重建效果良好。

为实现上述目的，本发明采用以下技术方案：

一种基于阵列镜头的图像超分辨率重建方法，包括：

对阵列镜头进行标定，得到阵列镜头的内参数；该阵列镜头由若干镜头模组按照N*M阵列形式排列组合而成；

利用阵列镜头撷取阵列图像组，利用相应镜头的内参数对阵列图像中的相应图像进行校正，得到校正后的阵列图像组；

对校正后的阵列图像组，进行多视立体匹配；

利用多视立体匹配的结果，通过双线性插值得到初始高分辨率图像；

对初始高分辨率图像进行优化。

所述多视立体匹配的方法是：

从校正后的阵列图像组中选取位于中心位置的图像作为参考图像，将参考图像的每个像素点作为网格点，建立空间曲面网，初始深度设为0；将场景空间沿参考图像的主轴方向划分成若干深度层，建立深度集合L；两两深度层的间隔根据两相邻深度层在参考图像上对应的像素位置差确定；

根据公式：

确定每个网格点的深度，其中f_x∈L，N是参考图像相邻像素集合，其中D_x(f_x)表示参考图像像素点X在深度f_x处的灰度一致性，表示参考图像两相邻像素点x₁，x₂分别取深度对应的光滑能量项；

求解能量函数确定每个网格点的深度，基于MRF模型算法得到参考图像上每个像素的深度，得到场景的重建表面。

在每个像素的当前深度附近再划分若干子深度层，并进行优化重建，直到像素距离差小于设定的距离阈值。

所述得到初始高分辨率图像的方法是：

输入的低分辨率阵列图像组是满足如下条件建立高分辨率图像的降质模型：

g_k＝DBP_kS+n_k(2)

其中，k表示阵列镜头的序号，D表示下采样矩阵，B表示模糊矩阵，P_k表示第k幅图像的投影矩阵；S表示理想高分辨率图像，其像素大小为q为采样比例，g_k是低分辨率阵列图像序列，每一帧大小为N₁×N₂，g_k由低分辨率阵列图像组排列而成，即g_k＝[g₁，g₂，...g_N*M]。

所述对初始高分辨率图像进行优化的方法是：利用核回归的方法对所述初始高分辨率图像进行去噪、去模糊处理。

本发明的优点是：

1、本发明的图像超分辨率重建方法，基于阵列镜头获取阵列图像，利用多视立体匹配实现了阵列图像的超分辨率重建，与传统降质模型不同，阵列图像的降质模型k不再是帧序号而是阵列镜头的序号，将参考图像对应的高分辨率图像通过运动模型变换到不同帧图像的过程，转换为场景表面通过镜头投影矩阵变换到各个阵列图像，后者的物理意义更加符合实际情况。

2、本发明的图像超分辨率重建方法，利用阵列镜头重叠的小光圈代替单个镜头的一个大光圈，模拟了昆虫的复眼，可获得更多的图像信息，利用阵列图像的相互信息可重建出分辨率更高的图像；

3、本发明的图像超分辨率重建方法，利用阵列镜头获取的阵列图像，进行超分辨率重建，对于动态场景，避免了帧间运动估计问题，重建效果更好。