[发明专利]图像处理装置和方法及其程序

说明书

技术领域

本发明涉及图像处理装置和方法，以及用于图像处理装置和方法的程序，具体地涉及能够更稳定地追踪被摄体(subject)的图像处理装置、方法和程序。

背景技术

在现有技术中，存在这样的图像拍摄装置：当连续拍摄多幅图像时，例如当在快门操作之前拍摄要向用户显示的所谓预览图像时，该图像拍摄装置具有在拍摄图像上追踪用户选择的被摄体的功能。在这样的图像拍摄装置中，一些装置具有根据追踪被摄体的位置针对图像拍摄光学地调节参数(例如焦点位置和亮度)的功能。

作为追踪被摄体的方法，例如存在这样的方法：在输入图像的指定帧中从用户最初选择的被摄体的一部分区域中提取特征量(例如亮度信息和颜色信息)，并在该指定帧的后续帧中搜寻特征量与提取的特征量匹配的区域(例如，参见日本未审查专利申请公布No.2006-72332)。也就是，在该方法中，在后续帧的输入图像中，从与最初选择为被摄体的区域位置相同的区域附近搜寻特征量与被摄体的区域的特征量匹配的区域，并且可以通过搜寻结果而获得的区域被当作后续帧的被摄体的区域。

发明内容

然而，在上述方法中，基于从用户最初选择的被摄体的一部分的区域提取的特征量来追踪被摄体。因此，仅识别整个被摄体中任意位置处的坐标或者一部分的区域，因此难以稳定地对整个被摄体进行追踪。

此外，在拍摄被摄体的图像时，有时在输入图像上可能存在被摄体状态的变化，被摄体状态例如为用于照射被摄体的光(例如，色温和照射强度)、被摄体的姿势或者被摄体的尺寸(图像拍摄装置与被摄体之间的距离)。在此情形下，当在用户选择的被摄体中可从部分区域获得的用于追踪的特征量变化时，难以在输入图像上指定被摄体的区域。因此，追踪被摄体很可能失败。

例如，当从被用户选择为特征量的被摄体的一部分的区域提取颜色信息时，具有颜色信息的区域作为被摄体被追踪。然而，当追踪所采用的区域由于例如被摄体的旋转而被隐藏时，在输入图像上将不存在具有该颜色信息的区域，因此难以追踪被摄体。这样的追踪失败甚至可能发生在难以获得作为特征量的亮度信息和颜色信息的低照射强度的情形下。

本发明的实施例就是在考虑到上述状况的情形下做出的，并且致力于更稳定地追踪被摄体。

根据本发明的第一实施例，提供了一种图像处理装置，该图像处理装置指定包括多个连续帧的每个输入图像上的特定被摄体的区域。该图像处理装置包括：被摄体图产生部分，从与所述输入图像的各个像素的特征对应且表示所述输入图像的各个区域中的特征量的特征图，针对每个像素选择任何特征图的一个特征量，以由此产生表示所述输入图像的各个区域与所述被摄体的相似性的被摄体图；以及被摄体区域指定部分，基于所述被摄体图来指定作为在所述被摄体图中与所述被摄体最相似的区域的被摄体区域，以由此指定包括所述输入图像上的所述被摄体的区域。

在该图像处理装置中，优选还提供可靠性计算部分，基于处理对象帧的所述特征图上的、包括与所述处理对象帧的前一帧的被摄体区域对应的对应区域的附近区域中的所述特征量的分散程度，该可靠性计算部分计算作为表示所述特征图上的所述对应区域包括所述被摄体的指标的可靠性。此外，还优选基于各个特征图的可靠性，所述被摄体图产生部分通过针对每个像素选择任何特征图的一个特征量而产生所述被摄体图。

在该图像处理装置中，优选还提供：参考图保持部分，将与所述特征图中的被摄体区域相同位置处的区域保持为参考图；以及匹配处理部分，在所述处理对象帧的特征图上搜寻与所述前一帧的参考图最高度相关的最相似区域。此外，优选基于所述处理对象帧的所述特征图上的、包括所述最相似区域的附近区域中的所述特征量的分散程度，可靠性计算部分计算作为表示所述特征图上的所述最相似区域包括所述被摄体的指标的可靠性。

优选通过针对每个像素选择所述可靠性大于预定阈值的任何特征图的一个特征量，所述被摄体图产生部分产生所述被摄体图。