[发明专利]图像处理设备、成像设备以及图像处理方法

说明书

本发明的目的是实现一种配置，通过该配置可以控制由无透镜摄像装置拍摄的图像的视场角并且根据拍摄区域的一部分生成重建图像。图像处理装置具有信号处理单元，该信号处理单元用于接收观察图像信号的输入即来自无透镜摄像装置的图像传感器的输出并且生成包括无透镜摄像装置的拍摄图像区域的一部分的重建图像区域的重建图像。信号处理单元具有：重建图像区域对应掩模矩阵计算部，用于计算与要被应用在重建图像的生成中的重建图像区域对应的掩模矩阵；以及图像估计部，用于通过从观察图像信号减去未包括在重建图像区域中的额外的重建区域观察图像信号来计算内重建区域观察图像信号，并且借助于使用内重建区域观察图像信号和与重建图像区域对应的掩模矩阵的伪逆矩阵或逆矩阵的运算处理来生成重建图像。

技术领域

本公开内容涉及图像处理设备、成像设备以及图像处理方法。特别地，本公开内容涉及可以控制无透镜摄像装置(无透镜成像设备)的捕获图像的视场以及生成包括成像区域的一部分的恢复图像的图像处理设备、成像设备和图像处理方法。

背景技术

近年来，可以在不使用透镜的情况下捕获图像的无透镜摄像装置的开发已经取得了进展。常规的普通摄像装置将透射穿过透镜的光输入到作为成像设备的图像传感器中以捕获图像。代替透镜，无透镜摄像装置使用掩模并且将透射穿过该掩模的光输入至图像传感器中，在该掩模中，设置有光的透射区域和非透射区域作为二维图案。图像传感器捕获穿过掩模的图像。预定的图像处理可以应用于捕获穿过掩模的数据，以与普通摄像装置类似地生成与捕获场景对应的二维图像。无透镜摄像装置不需要透镜并且实现了成像设备的小型化和轻量化。

如上所述，无透镜摄像装置将透射穿过掩模的光输入至图像传感器中。指示来自场景(捕获场景)的发射光如何透射穿过掩模并且投影到传感器的信息被预先限定为矩阵，并且使用该矩阵和投影到传感器的图像(观察图像)来生成在其中再现实际场景的图像(恢复图像)。

注意，例如在以下文献中描述了无透镜摄像装置。

PTL 1(PCT专利公开第WO2012/040192号)。

以下执行的处理是用于根据投影到无透镜摄像装置的图像传感器的图像(观察图像)生成在其中再现实际场景的图像(恢复图像)的捕获图像的重建处理的示例。捕获场景的发射光被表示为多个三维采样点的亮度值，并且以模拟等方式预先获得穿过掩模投影到图像传感器的多个传感器观察值集合。

此外，根据所述集合计算出表示掩模的掩模矩阵。获得掩模矩阵的逆矩阵，并且将该逆矩阵应用于观察值，即，无透镜摄像装置的图像传感器的像素值，从而恢复包括在捕获场景中的采样点的亮度值。采样点的亮度值是指示捕获场景的图像的亮度值。

当从P个三维采样点发射的光被写为长度为P的场景发射光矢量x，并且与接收光的像素的数目N对应的二维传感器的观察值被表示为长度为N的场景观察值矢量y时，关系可以表示如下。

y＝Mx

此处，M是表示掩模的透射函数的矩阵，即，掩模矩阵。

为了再现场景的发射光，可以根据无透镜摄像装置的传感器观察值y获得满足表达式的关系的x。通过增加包括在场景中的三维采样点的数目P，可以提高再现场景的分辨率。然而，这增加了估计场景发射光矢量x所花费的时间，并且图像的重建需要较长时间。

在表达式中，y＝Mx指示进入无透镜摄像装置的传感器的所有光都叠加在该传感器上，并且恢复图像的视场(FOV)非常宽。

引用列表

专利文献

[PTL 1]PCT专利公开第WO2012/040192号

发明内容

技术问题