[发明专利]图像处理装置以及拍摄控制装置

说明书

技术领域

本发明涉及根据多个低分辨率图像数据生成1个高分辨率图像数据的图像处理装置等。

背景技术

关于通过区域感应器等拍摄装置进行拍摄所获得的图像，其分辨率受该拍摄装置所具备的拍摄元件的密度的限制。拍摄装置的用户所要求的是能够拍摄分辨率更高的图像的拍摄装置，各相机厂商为了满足用户对于分辨率的需求，不断推出拍摄元件密度高的高分辨率相机。

但是，问题在于拍摄元件的高密度化也有限度，并且由于高密度化会导致拍摄装置的制造成本增加。对此，以往使用有以下的高分辨率化技术，即，对同一拍摄对象进行多次拍摄，并且每次都稍微错开拍摄位置，然后对拍摄到的多个拍摄图像数据进行合成，从而生成分辨率比拍摄图像数据高的高分辨率图像数据。

图像的高分辨率化技术一般包括图像偏移处理和超分辨处理这两种。进行图像偏移处理时，对同一拍摄对象进行多次拍摄，并且每次都稍微错开拍摄位置。然后，找出多个拍摄图像数据各自包含的像素与高分辨率图像数据的像素之间的位置对应关系，并将拍摄图像数据的各像素的亮度值映射(mapping)到高分辨率图像数据的各个像素，从而生成反映有多个拍摄图像数据的高分辨率图像数据。

在图像偏移处理中，由于必须将拍摄图像数据的所有像素都映射到高分辨率图像数据的像素，因此，必须对拍摄图像数据的拍摄位置以及拍摄数量进行固定。因此，图像偏移处理虽然具有能以较低的计算成本(cost)生成高分辨率图像数据的优点，但是存在难以大幅度提高分辨率的问题。

另一方面，进行超分辨处理时，首先，与图像偏移处理同样，对同一个拍摄对象进行多次拍摄，并且每次都稍微错开拍摄位置。然后，在超分辨处理中，先对高分辨率图像数据进行推定，然后，为了使该推定的高分辨率图像与通过上述多次拍摄所获得的多个拍摄图像数据之间的差缩小，对上述假定的高分辨率图像数据进行更新。

上述方式的超分辨处理称为重建式超分辨处理。作为重建式超分辨处理，例如有ML(Maximum-likelihood：最大似然)法、MAP(Maximum APosterier：最终后验概率)法和POC(Projection On to Convex Set：凸集投影)法等周知的方法，这些方法在下述非专利文献1以及专利文献1中也有介绍。

在重建式超分辨处理中，由于对所用的低分辨率图像数据(拍摄图像数据)的数量没有限制，因此能够大幅度提高分辨率。但是，在重建式超分辨处理中，更新高分辨率图像数据时要反复进行演算，因此，其计算成本一般都高于图像偏移处理。

以下，对超分辨处理进行详细说明。在超分辨处理(重建式)中，关于用以对生成的高分辨率图像进行定义的评价函数，就该评价函数的优化问题进行定规化。即，超分辨处理最终将归结到：基于了“推定出的拍摄图像数据(高分辨率图像数据)”与“观测到的拍摄图像数据(拍摄图像数据)”之间的平方误差的、评价函数(误差项)的优化问题上。在此，由于超分辨处理是未知数非常大的优化计算处理，因此，多采用例如最速下降法等反复计算的计算法来实现超分辨处理中的评价函数的优化。

另外，若已得知高分辨率图像数据的特性，可以将基于该高分辨率图像数据的特性的评价函数(约束项)附加于上述评价函数(误差项)。例如，若事先得知高分辨率图像数据的边缘成分为较小，便可附加基于以下图像数据的评价函数(约束项)，该图像数据是：以拉普拉斯算子(laplacianfilter)对高分辨率图像数据进行运算后所得到的图像数据。由此，能够使边缘成分较小的高分辨率图像数据反映在超分辨处理中，因此能够提高高分辨率化的精度。

接下来，参照图22说明现有的超分辨处理方法的处理流程。图22是表示现有的超分辨处理方法的一个例子的流程图。在此，设想根据m个拍摄图像数据来生成1个高分辨率图像数据(m为正数)，该m个拍摄图像数据是通过每次稍微错开拍摄位置并对同一个拍摄对象进行拍摄而获得的。其中，m根据拍摄图像数据的高分辨率化倍数而定。具体而言，若要对拍摄图像数据进行x倍高分辨率化，便至少需要x2个拍摄图像数据。

以下，参照图23说明拍摄对象的拍摄方法。图23是表示超分辨处理中所使用的拍摄图像数据的、拍摄方法的例图。在该图中，为简单化，例举使用9个拍摄图像数据来生成1个高分辨率图像数据，即，m＝9，对拍摄图像数据进行3倍高分辨率化。此外，设想各拍摄图像数据由图中所示的纵为5像素横为5像素的25个像素构成。