[发明专利]图像信号处理器、图像信号处理方法和程序

说明书

技术领域

本发明涉及图像信号处理装置、图像信号处理方法和程序，更具体地，涉及适用于追踪在图像中运动的对象的图像信号处理装置、图像信号处理方法和程序。

背景技术

例如，当执行图像处理，例如检测和追踪用保安摄像机拍摄的图像中的可疑人物然后执行噪声消除，分析足球比赛的图像中某个足球运动员的轨迹，或者追踪和剪切体育节日的图像中你自己的孩子时，在构成运动图像的时序图像中追踪对象(例如可疑人物、足球运动员或孩子)的处理被实施。

根据现有技术，为了追踪在图像中运动的对象，存在这样的方法，例如将运动图像设为追踪目标，追踪设在追踪目标上的追踪点，估计包括追踪目标的区域，并且以这样的区域为单位来实施追踪。在任一方法中，都检测图像中的点和区域的运动向量。

用于检测图像中的运动向量的一种典型方法是块匹配方法。在块匹配方法中，具有预定尺寸(水平象素×垂直象素)的图像块(此后称为“匹配区域”)被设在时间上连续的两张图像之一中，大于匹配区域的搜索区域被设在另一幅图像中。接着，匹配区域和搜索区域的象素值的总绝对差被计算作为估计值。估计值最小化的位置被确定为匹配区域的目的地，且块区域的运动向量被检测。

当图像中存在黑条(black bar)时，利用块匹配方法时有下列不便。

例如图1所示，当匹配区域被设在黑条附近时，即使如图2所示在水平方向运动，计算出的估计值也不会有太大变化，这样很难确定估计值最小化的位置。因此，很有可能无法检测准确的运动向量。如果没有检测到准确的运动向量，则检测的运动向量将在时间上不连续。

因此，只要运动对象追踪是基于在时间上不连续的、不准确的运动向量，就很难准确地追踪运动对象。

因此，可以检测图像中的黑条，于是可以避免在检测出的黑条附近用块匹配来检测运动向量。

至于图像中黑条的检测方法，存在这样的方法，即基于例如低亮度水平或相邻象素之差，在图像信号的每帧中检测黑条和实际图像之间的边界位置，判断检测出的边界位置的时间连续性(例如，参考日本未审查专利申请公布No.9-270996)，并且假定黑条存在于距屏幕边缘的某一线期间内来检测黑条(例如，参考日本未审查专利申请公布No.7-298200)。

发明内容

根据日本未审查专利申请公布No.9-270996描述的方法，当黑条的亮度不足够低时，当字幕和屏上文字(telop)被包含在黑条中时，和/或当在屏幕中间整个画面的亮度变低时，每帧中黑条的边界位置可能被错误地检测。结果，黑条位置的时间连续性的判断可能受影响，因此，黑条的最终位置的检测结果可能受影响。

根据日本未审查专利申请公布No.7-298200，取决于要处理的图像，检测结果可能受预定线期间中的设置值的影响。

以这种方式，当黑条没有被准确地检测时，无法从执行块匹配的区域中准确地刨除黑条，因而无法准确地检测运动向量。因此，难以准确地追踪运动对象。

针对这种情况，构思本发明使得可以准确地追踪在图像中运动的对象。

根据本发明实施例的一种图像信号处理装置，被配置为追踪在图像中运动的对象，包括：设置装置，在构成运动图像的图像中设置刨除区域；运动向量检测装置，在构成运动图像的图像中检测对象，并且利用该图像中除刨除区域以外的区域来检测与该对象对应的运动向量；以及估计装置，基于检测到的运动向量来估计该对象向哪个位置运动。

运动向量检测装置可以从构成运动图像的图像中除刨除区域以外的区域中检测对象，并且利用该图像中除刨除区域以外的区域来检测与该对象对应的运动向量。

估计装置可以在除刨除区域以外的区域中基于检测到的运动向量来估计对象向哪个位置运动。

设置装置可以包括：黑条检测装置，在构成运动图像的图像中检测黑条；以及刨除区域确定装置，基于检测到的黑条来确定刨除区域。

黑条检测装置可以包括：第一检测装置，检测图像中的低亮度范围；第二检测装置，在检测出的低亮度范围中检测黑条的边界候选；以及识别装置，基于检测出的低亮度范围和检测出的边界候选来识别黑条的边界。

根据本发明实施例的一种用于被配置为追踪在图像中运动的对象的图像信号处理装置的图像信号处理方法，该方法包括下列步骤：在构成运动图像的图像中设置刨除区域；在构成运动图像的图像中检测对象，并且利用图像中除刨除区域以外的区域来检测与该对象对应的运动向量；以及基于检测到的运动向量来估计该对象向哪个位置运动。