[发明专利]用于跟踪脸部部分的方法、装置和计算机程序产品

说明书

技术领域

各种实现方式总体上涉及用于跟踪脸部部分的方法、装置和计算机程序产品。

背景技术

图像处理在诸如视频编辑、视频压缩、安全和监控、人类计算机交互等应用中越来跨得到使用。图像处理通常涉及在图像帧和/或视频帧的序列中检测脸部，并且继而在后续图像中随后跟踪脸部。

普遍使用基于模式识别的检测器来执行脸部检测，该检测器是计算密集的任务以便用于每个帧。在检测到脸部时执行脸部的跟踪。脸部的跟踪要求在后继帧中的任何帧中未遗漏脸部，这意味着脸部的跟踪必须稳健。

然而，脸部的跟踪可能不是稳健的，因为性能可能受基于模式识别的检测器的准确性限制。这可能导致在帧之间中遗漏一些脸部。在失去对脸部的跟踪时，可以再次执行脸部的检测以用于检测脸部并且后续跟踪脸部。作为结果，可能需要再次利用计算密集的基于模式识别的检测器，由此造成每个帧的计算数目增加。

发明内容

提供用于脸部部分跟踪的方法、装置和计算机程序产品。

在一个方面中，提供一种方法。该方法包括在多媒体内容的多个帧中的帧中检测脸部部分。该方法还包括在帧的至少一个后续帧中跟踪脸部部分。当在至少一个后续帧中失去对脸部部分的跟踪时执行脸部部分的颜色跟踪。执行颜色跟踪以用于在至少一个后续帧中重新跟踪脸部部分。

在一个实施例中，在帧中检测脸部部分包括提供被配置用于向帧中的像素集上叠加的检测窗。随后，基于至少一个分类函数层评估由检测窗界定的像素集以用于在像素集中检测脸部部分。按照第一步进大小向像素集的邻近像素集上遍历检测窗。基于至少一个分类函数层评估邻近像素集以用于在邻近像素集中检测脸部部分。

在一个实施例中，在多个帧中的相继帧中按照预定义大小移位检测窗的起始点以用于检测脸部部分。在一个实施例中，评估由检测窗界定的像素集包括基于至少一个分类函数层中的第一分类函数层评估像素集。评估被配置用于针对一个或者多个定向角度来执行并且还被配置用于计算用于一个或者多个定向角度中的至少一个定向角度的分类分数。选择具有计算的分类分数中的最大分数的角度作为脸部部分的定向角度。通过基于至少一个分类函数层执行像素集的评估来在像素集中检测脸部部分，其中评估被配置用于针对脸部部分的定向角度来执行。

在一个实施例中，针对多个比例中的一个或者多个比例在帧中执行脸部部分的检测，并且跨越多个帧划分在其之上执行脸部部分的检测的多个比例的比例数目，其中多个比例代表脸部部分的多个大小。在一个实施例中，应用皮肤滤波器和纹理滤波器中的至少一个滤波器以用于从帧去除非脸部部分。纹理滤波器可以基于帧中的局部二进制模式。在一个实施例中，检测脸部部分基于帧中的模式识别。

在一个实施例中，脸部部分的跟踪包括在至少一个后续帧的一个后续帧中的兴趣区域中检测脸部部分，其中兴趣区域对应于帧中的其中检测到脸部部分的区域。另外，脸部部分的跟踪可以被配置用于针对多个比例中的所选数目的比例来执行，其中所选数目的比例可以基于在帧中针对其检测到脸部部分的比例来选择。在一个实施例中，在检测到脸部部分时停用兴趣区域以用于排除在兴趣区域中进一步跟踪脸部部分。

在一个实施例中，基于亮度投影距离和颜色直方图距离中的至少一个距离执行颜色跟踪。在一个实施例中，颜色跟踪包括计算用于至少一个后续帧的一个后续帧中的兴趣区域中的多个测试检测窗中的每个测试检测窗的水平亮度投影、竖直亮度投影和颜色直方图，其中兴趣区域对应于帧中的其中检测到脸部部分的区域。基于用于每个测试检测窗的水平亮度投影和竖直亮度投影以及参考水平亮度投影和参考竖直亮度投影计算用于每个测试检测窗的亮度投影距离。基于用于每个测试检测窗的颜色直方图和参考颜色直方图计算用于每个测试检测窗的颜色直方图距离。另外，基于用于每个测试检测窗的亮度投影距离和颜色直方图距离在兴趣区域中确定脸部部分的存在。

在一个实施例中，基于参考水平亮度投影与用于每个测试检测窗的计算的水平亮度投影之差以及参考竖直亮度投影与用于每个测试检测窗的计算的竖直亮度投影之差计算用于每个测试检测窗的亮度投影距离。另外，基于参考颜色直方图与用于每个测试测试检测窗的计算的颜色直方图之差计算用于每个测试检测窗的颜色直方图距离。

在一个实施例中，如果亮度投影距离的最小值低于第一阈值并且颜色直方图距离低于第二阈值，则确定脸部部分存在。另外，如果亮度投影距离的最小值在第一阈值与第三阈值之间并且颜色直方图距离的最小值低于第四阈值，则可以确定脸部部分存在。另外，如果亮度投影距离的最小值大于第三阈值，则可以确定脸部部分不存在。