[发明专利]用于恢复图像的方法和设备

说明书

提供一种用于恢复图像的方法和设备。图像恢复设备可存储包括与具有各种扩张间隙的内核对应的卷积层的图像恢复模型，并可通过图像恢复模型从通过重新布置复眼视觉(CEV)图像而获得的目标图像恢复输出图像。

本申请要求于2018年9月13日提交到美国专利商标局的第62/730,641号美国临时申请的优先权和于2018年12月3日提交到韩国知识产权局的第10-2018-0153829号韩国专利申请的优先权，所述美国临时申请和所述韩国专利申请的公开通过整体引用包含于此。

技术领域

一个或多个示例实施例提供涉及用于恢复图像的技术的方法和设备。

背景技术

由于光学技术和图像处理技术的发展，捕获设备正被用在大范围的领域(例如，多媒体内容、安全和识别)。例如，捕获设备可被安装在移动装置、相机、车辆或计算机中，以捕获图像、识别对象、或获取用于控制装置的数据。捕获设备的体积可基于例如镜头的尺寸、镜头的焦距或传感器的尺寸来确定。例如，捕获设备的体积可基于镜头的尺寸或传感器的尺寸来调整。随着传感器的尺寸减小，入射到传感器上的光的量可减少。因此，图像的分辨率可降低，或者可能难以在低照明度环境中捕获图像。为减小捕获设备的体积，包括小透镜的多透镜可被使用。当镜头的尺寸减小时，镜头的焦距可减小。因此，捕获设备的体积可基于多透镜被减小。

发明内容

一个或多个示例实施例可至少解决以上问题和/或缺点以及以上未描述的其他缺点。此外，示例实施例不需要克服上述缺点，并且示例实施例可不克服上述问题中的任何问题。

一个或多个示例实施例提供用于恢复图像的方法和设备。

根据示例实施例的一个方面，提供一种图像恢复方法，所述图像恢复方法包括：通过重新布置对象的输入图像来获取目标图像；以及基于包括与具有扩张间隙的内核对应的卷积层的图像恢复模型，从获取的目标图像恢复输出图像。

恢复输出图像的步骤还可包括：基于与多个内核对应的卷积层来恢复输出图像，所述多个内核分别对应于多个扩张间隙，其中，所述多个扩张间隙可基于包括在图像传感器中的透镜和包括在图像传感器中的感测元件的配置来确定。

扩张间隙可基于包括在图像传感器中的感测元件的配置以及图像传感器和与图像传感器分隔开的对象的点之间的距离来确定。

内核可基于包括在图像传感器中的多个感测元件的位置关系来确定，所述多个感测元件被配置为接收从与图像传感器分隔开大于阈值距离的距离的对象的点发射的光线。

所述图像恢复模型可包括与内核对应的卷积层，其中，内核基于包括在图像传感器中的多个感测元件的位置关系来确定，所述多个感测元件被配置为接收从与图像传感器分隔开最小捕获距离的点发射的光线。

对应于最小捕获距离的内核可具有对应于最大视差的扩张间隙，其中，最大视差可基于图像传感器的最小捕获距离、图像传感器的中心透镜与图像传感器的最外侧透镜之间的距离、以及透镜的焦距来确定。

所述图像恢复模型还可包括分别与多个层级对应的多个卷积层。

所述图像恢复模型还可包括与具有不同的扩张间隙的多个内核分别对应的多个卷积层。

恢复输出图像的步骤可包括：基于卷积层从目标图像提取特征数据；以及基于包括在所述图像恢复模型中的除了所述卷积层之外的层从特征数据生成输出图像。

所述图像恢复模型还可包括与具有相同扩张间隙的多个内核对应的多个卷积层。

恢复输出图像的步骤包括：基于所述图像恢复模型从目标图像恢复输出图像，其中，所述图像恢复模型被训练为响应于通过重新布置复眼视觉(CEV)图像获得的参考输入图像的输入而输出参考输出图像。

获取目标图像的步骤可包括：获取CEV图像；以及通过重新布置CEV图像生成目标图像。