[发明专利]图像处理装置、图像处理方法以及程序

说明书

技术领域

本发明涉及图像处理装置、图像处理方法以及程序。更具体地，本发明涉及计算到相机拍摄的图像中包括的每个对象的距离的图像处理装置、图像处理方法以及程序。

背景技术

如下数据被称为距离映射图：在该数据中关于到相机拍摄的图像中包括的每个对象的距离的信息被与原始图像关联地表示。对距离图像中的不同距离值设定不同的像素值，在距离图像中距离映射图被表示为图像。例如，在距离图像中，较近的对象被表示为亮度值较高的像素，而较远的对象被表示为亮度值较低的像素。图1示出图像和距离图像的示例。参照图1，距离图像12是基于图像11的。如图1中的示例一样，到对象的距离是通过改变距离图像中的亮度值来表示的。

距离映射图和距离图像可以在例如物体的三维形状的分析中使用。通过图像分析或三维形状的分析产生距离映射图和距离图像在例如日本待审专利申请公布No.2003-216932、日本待审专利申请公布No.2004-125708和日本待审专利申请公布No.2004-257934中公开。

现在将描述从相机拍摄的图像生成距离图像。为了生成距离图像，需要获知相机和每个对象之间的距离。分析到对象的距离的多种技术包括在改变镜头的聚焦位置的同时找到映射最清楚的对象轮廓或图案的聚焦位置的技术。

该技术是小型相机的自动聚焦机制中广泛使用的方法中的一种，而且也被称为对比度检测技术。当对象被聚焦时达到高对比度。在通过对比度检测技术的距离测量中，检测对比度的变化以确定每个对象的聚焦位置，并检测对应于聚焦位置的距离作为到对象的距离。

在对比度检测技术中普遍使用通过使用各种差分滤波器来检测像素的亮度值急剧变化的像素位置的方法。通过这样的方法可获取对象的轮廓和图案。用来检测轮廓和图案的差分滤波器在下文中被称为边缘检测滤波器。像素的亮度值是从灰度图像中的图像数据中直接获取的，而像素的亮度值则是基于彩色图像中的多个亮度分量的线性组合来计算的。

通过使用对比度检测技术，在将镜头的聚焦位置从最短距离顺序地移动到无限远距离的同时记录关于在图像中检测到的每个对象的轮廓或图案的位置，这允许获取关于图像中包括的对象的轮廓或图案的距离信息以创建距离映射图。

然而，因为例如缺少对象的轮廓上的像素之间的亮度差，所以在实际图像中每个对象的轮廓并不是恒定地检测。另外，由于即使改变聚焦位置，在没有图案的区域中用边缘检测滤波器仍然什么也检测不到，因此得到的距离映射图包括很多不确定的地带(即到对象的距离未被限定的地带)。这种地带在下文中称为距离不确定地带。

现在将描述估计距离不确定地带中的距离以获取整个图像的距离图像。为了计算距离不确定地带中的距离，通常使用内插处理，该内插处理使用距离不确定地带周围的已知信息。换句话说，在对象的轮廓或图案上的位置观测到的已知的距离信息被用来估计关于对象的内部区域(在下文中称为对象区域)中的距离不确定地带的距离信息。

具体地，如在图2A中示出的示例中一样，对象A 21的图像由相机20拍摄。在图像的拍摄中，通过使用对比度检测技术，在将镜头的聚焦位置从最短距离顺序地移动到无限远距离的同时记录图像中关于检测到的对象的轮廓或图案的位置。这得到图2B中示出的内插之前的距离图像22。

通过对比度检测，在图2B中示出的内插之前的距离图像22中的对象A 21的轮廓部分中用边缘检测滤波器可以检测边缘以提供距离信息。在内插之前的距离图像22中的对象A 21的轮廓部分中的用不同灰度值表示的圆圈表示位置信息，其中像素的亮度值根据距离值来设定。亮度值越高表示距离越小，而亮度值越低表示距离越大。在图2B中示出的内插之前的距离图像22中的对象A 21的轮廓部分中的用不同灰度值表示的圆圈被示意性地放大，而实际的距离信息可以以像素级别来获取。

在图2B中的内插之前的距离图像22中，因为内部区域没有图案，所以用对比度检测技术尽管能够获取关于对象A 21的轮廓部分的距离信息，但是不能够获取关于对象A 21的内部区域的距离信息。在此情况下，进行内插处理以使用轮廓部分中获取的距离信息来估计内部区域中的距离值。由内插处理得到图2C中示出的内插之后的距离图像23。

在内插处理中，对象区域被基于一定的标准来划分。例如，采用将图像中彼此接近并且颜色相似的部分归到一个区域中的划分方法是有效的。这种划分方法的使用允许例如以对象为单位的区域划分。

例如，对例如设定为一个划分区域的区域中存在的距离不确定地带可以按以下方式进行内插处理。