[发明专利]特定被摄体跟踪方法和装置以及特征部跟踪方法和装置

说明书

技术领域

本发明涉及基于特征部检测的特定被摄体的跟踪方法和装置，以及特征部跟踪方法和装置。更具体地，本发明涉及基于人脸检测的头部跟踪方法和装置，以及人脸跟踪方法和装置。 

背景技术

物体(如人脸、头部、其他人体部位、汽车、行人等)跟踪是计算机视觉领域普遍关注的研究课题，而头部跟踪作为其子问题之一，应用前景尤其广阔，在视觉监视、人体运动分析、摄像机自动对焦、智能导播和人机交互中都发挥着重要作用。 

由于跟踪问题本身的复杂性，在计算机视觉领域，存在着大量的文献从各种角度研究各种不同形式的跟踪问题。不仅应用环境千变万化，跟踪对象各不相同，而且由于实际应用系统的需要和视频跟踪问题本质上的复杂性，不同的研究工作会对问题做出不同的假设、提出不同的目标。人脸、头部跟踪也是如此。已有的人脸、头部跟踪方法根据其视觉线索的特定化程度大致可以分为两类，一类主要使用色彩、角点、边缘、背景差分等比较通用的视觉线索(文献[4][11][12][13])，另一类则采用比较精细且复杂的几何及纹理模型(文献[14][15][16])。前一类方法事实上可以用于人脸/头部之外的绝大多数其他跟踪目标，虽然这些视觉线索的通用性使这类方法对目标和场景的变化有比较好的适应性，但是由于缺乏对特定跟踪目标的知识，在比较差的跟踪环境中往往缺乏对目标和背景噪声的区分力。第二类方法主要用于人脸跟踪或者脸部特征点的跟踪。它们一般要求跟踪目标比较清晰，不包含大小、位姿、光照，以及背景的剧烈变化。 

相对于跟踪问题，检测问题与之长期处于相对独立的位置。其部分 原因在于，一方面，跟踪面对的是视频序列，一旦被跟踪目标初始化以后，有大量的帧间相似性信息可以利用，而并不要求对人脸这个特殊的模式有所理解；相对而言，人脸检测问题就要复杂得多，其利用的特征都是经过对大量样本的学习得到的，用于检测的分类器也相当复杂。另一方面，跟踪问题一般要求实时性，即对速度的要求比较高，因此检测一般只作为跟踪过程的初始化。而且，特别的，对于头部跟踪问题，必然要求人脸检测器是覆盖多视角的。尽管人脸检测问题已被研究多年(文献([10][9][7][8][2])，但是满足上述要求的检测器却问世不久。继2001年P.Viola和M.Jones提出了基于Haar型特征和AdaBoost算法的层叠分类器方法(文献[7])并将其应用于正面人脸检测，达到了实时效果，其后出现了一大批关于人脸检测的研究(包括一些高速的多视角人脸检测系统(文献[8][2]))。这些进展使得将人脸检测用于视频成为可能。 

将检测器应用于跟踪问题的尝试目前还很少(文献[18][5][6])。其中文献[18]采用的方法和本文将要探讨的方法差异较大(先采用背景差分的方法在每一帧图像中检测出行人，然后通过图搜索的方式建立已检测目标之间的时序关系从而实现跟踪)，其他两篇文献从不同角度尝试了将检测程序引入基于粒子滤波器的跟踪算法，其中文献[5]将检测器作为观测模型实现人脸跟踪，而文献[6]用检测结果作来预测目标状态，实现对人体的跟踪。文献[5]是与本发明的方法比较接近的一篇文献，但是文献[5]使用文献[9]的检测器进行人脸跟踪，其主要缺陷在于处理速度比较慢(26s每帧(352×288像素))。 

发明内容

因而，本发明鉴于现有技术的上述问题而提出，用以克服上述现有技术的一个或更多个缺点，并提供至少一种有益的选择。 

具体地，本发明的一个目的在于，提供一种基于特征部(如人脸)检测的特定被摄体(如头部)跟踪方法和装置，用于从视频序列中确定目标特定被摄体的位置和大小，并且要适应尽可能多的场景和目标变化，以应用于摄像和摄影设备的自动对焦等。为了获得鲁棒的跟踪性能，本发明将特征部检测器融入跟踪过程中。

本发明的另一目的在于，提供一种特征部(如人脸)跟踪方法和装置，用于从视频序列中确定目标特征部的位置和大小，并且要适应尽可能多的场景和目标变化，以应用于摄像和摄影设备的自动对焦等。