[发明专利]图像处理设备和图像处理方法

说明书

技术领域

本发明涉及一种用于追踪图像中的指定被摄体的功能。

背景技术

一些数字照相机、摄像机或将照相机可通信地连接至计算机的监视照相机系统具有用于通过连续检测动画中的指定被摄体来追踪图像中的指定被摄体的功能。

例如，日本特开平04-170870号公报讨论了如下结构：从帧图像中指定要追踪的被摄体，存储该被摄体的区域的亮度信号，并且从其它帧图像中提取与所存储的亮度信号最相似的区域，从而追踪该被摄体。

图7A和7B是示出用于使用被摄体的区域的亮度信号追踪该被摄体的方法的示意图。图7A示出数字照相机所拍摄的动画中的帧图像。假设将向右看的人物的面部指定为要追踪的被摄体。将表示要追踪的被摄体的追踪框显示在数字照相机的监视器上，其中叠加在图像上的追踪框包围该人物的面部。

数字照相机存储由追踪框所包围的要追踪的被摄体区域中各个像素的亮度信号。之后，在帧图像中，设置与要追踪的被摄体区域大小相等的比较区域，并且获得要追踪的被摄体区域中的像素和比较区域中的像素之间的亮度信号的差的总和。顺次移位比较区域的位置，并获得各位置时亮度信号的差的总和，以检测差的总和最小的比较区域的位置。

在其它帧图像中，将亮度信号的图案(形状)与帧图像中要追踪的被摄体区域的亮度信号的图案最相似的区域判断为存在与要追踪的被摄体相同的被摄体的区域，并且更新追踪框。

图7B示出更新的状态。在图7B中，更新追踪框的位置，以使得该追踪框中的亮度信号存在于亮度信号的图案与图7A的追踪框中的区域的亮度信号的图案最相关的区域中。将所存储的亮度信号的图案更新为新设置的追踪框中的亮度信号的图案。重复该操作，以追踪动画中的指定被摄体。

图8A～8C是示出在用于使用被摄体区域的亮度信号追踪被摄体的方法中要解决的问题的示意图。

在图8A所示的帧图像中，将人物的面部指定为要追踪的被摄体。在图8B所示的帧图像中，作为要追踪的被摄体的人物的面部位于作为障碍物的树的后面。在图8B所示的帧图像中，如果检测到与图8A所示的追踪框中的区域的亮度信号的图案最相关的区域并将该区域设置为新的追踪框，则面部的一部分和作为障碍物的树的一部分包括在新的追踪框的区域内。在图8C所示的帧图像中，选择存在作为障碍物的树的一部分的区域作为与追踪框中的亮度信号的图案高度相关的区域。在随后的帧图像中，可能继续追踪该树。

为了避免该问题，即使在亮度信号的图案与所存储的追踪框中的区域的亮度信号的图案最相关的区域中，如果相关度(correlation)不大于预定值，则也判断为要追踪的被摄体丢失并且停止追踪。换句话说，在图8B所示的帧图像中，检测到亮度信号的图案与图8A所示的帧图像的追踪框中的亮度信号的图案最相关的区域。然而，由于判断为相关度没有达到预定值，因此在图8C所示的帧图像中删除追踪框。由此，如果在追踪过程中将不同的被摄体设置为要追踪的被摄体，则可以停止追踪。

这种用于停止追踪的处理引起了其它问题。当使用亮度信号的图案之间的相关度进行追踪时，被摄体的方向的变化或被摄体的姿势的变化暂时且极大地改变亮度信号的图案之间的相关度。

图9A～9D示出上述这种变化。图9A～9D是示出在用于使用被摄体的区域的亮度信号追踪该被摄体的方法中要解决的另一问题的示意图。

在图9A所示的帧图像中，将人物的面部指定为要追踪的被摄体。在图9B所示的帧图像中，该人物转向其它侧，以隐藏向右看的人物的面部，这使得仅出现该人物的头部的背面。在图9C所示的帧图像中，该人物转向左侧，以隐藏头部的背面，这使得出现向左看的人物的面部。在图9A～9C所示的帧图像中，作为要追踪的被摄体的人物仅改变其方向。然而，亮度信号的图案之间的相关度在该期间没有达到预定值，因此可能在图9C和9D所示的帧图像中删除追踪框。

因此，难以得出亮度信号之间的相关度降低的原因是由于追踪了不同的被摄体还是仅由于要追踪的被摄体的方向发生了变化。

在代替亮度信号使用色度(chroma)信号或色相(hue)信号等的颜色信号而基于图案之间的相关度进行追踪的情况下，存在同样的困难。

发明内容