[发明专利]人脸跟踪设备和方法

说明书

技术领域

本发明涉及视频图像中的对象跟踪技术，尤其涉及一种用于在视频图像中持续跟踪人脸的二维(2D)特性和三维(3D)特性的设备和方法。

背景技术

随着信息处理技术(特别是视频图像技术)的发展，越来越多的系统和设备需要从视频图像中对某种特定的对象(例如，人脸)进行跟踪识别。例如，在很多摄像监视系统中，往往需要对连续的视频图像中的人脸进行跟踪，从而实现对现场情况的识别和分析。另外，由于跟踪到的人脸的二维信息和三维信息可指示出人物的表情或姿态，因此，在一些人机交互的系统中，可从连续跟踪到的人脸特性识别出用户的某种情绪，该情绪可对应于用户输入的操作指示，从而实现更加友好和智能的交互操作。此外，跟踪到的人脸特性还可被用于进行面部动画生成、焦点检测和自动监控等。

为了实现对人脸的跟踪，现有技术中往往需要利用结构光投影仪器、变化方向的频闪光源、粘贴标识等额外手段来为被跟踪人脸添加易于辨识的空间信息，而后在视频中捕捉此类信息以实现跟踪分析。例如，在第200610085748号中国专利申请《基于结构光的人脸定位的方法》中，就利用了结构光产生装置对人脸主动投射，用视频系统中的图像摄取装置来提取结构光条纹，由此确定人脸的中心位置。上述方式前期准备时间长，且要求用户进行一定的配合，这使得应用的场所受到限制(例如，上述方式不适用于普通的家用设备，也不适用于在监控系统中跟踪随机出现的人脸)。

此外，现有技术中普遍采用的另一种方式以图像特征(例如，颜色、灰度直方图、边缘形状等)作为跟踪依据，使用一定的搜索策略在图像中定位人脸或人脸器官的位置。例如，在第200910080962号中国专利申请《一种识别定位人脸器官的方法、装置和视频处理芯片》中，利用灰度统计模型对被识别图像中的人脸器官进行初步定位，用人脸边缘信息搜索方法确定并调整下巴上的轮廓点，将被识别图像的颜色空间由红绿蓝模式转换为色相饱和模式，用色度值搜索方法确定并调整嘴唇上的轮廓点，基于被识别图像中人脸器官的轮廓点，确定人脸器官的位置。上述方式的缺点是对光照、姿态变换的适应性较差，计算复杂且不适用于对全局的跟踪。

此外，现有技术中还存在基于人脸模型来进行人脸图像定位的方法。例如，在第200910143325号中国专利申请《一种二维人脸图像定位的方法》中，通过利用预设的数据库建立二维人脸形状模型和二维人脸局部纹理模型，实现对二维人脸图像进行精确定位。然而，上述方式不能得出关于三维位置或姿态的信息，而且对数据库之外的样本处理能力较弱，不适用于表情或姿态变化幅度较大的情况。

综上所述，可以看出，在现有技术中，为了在视频图像中实现对人脸的跟踪，往往需要额外的设备(例如，结构光投影仪器)或者附加在人脸的粘贴标识，这使得跟踪设备的成本增加，且需要构建非常复杂的跟踪系统，限制了人脸跟踪的应用环境。

另外，为了实现对人脸的精确跟踪，往往需要进行大量的计算，而复杂的计算将导致无法满足实时跟踪的需要。

此外，目前的跟踪方法多偏重于获取人脸的二维特性，往往无法同时有效地得到相应的三维特性，这使得对跟踪结果的应用受到一定的限制，即，无法同时有效地获得人脸的二维特性和三维特性。

而且，当跟踪的人脸较为陌生，即，输入人脸与训练库中的人脸之间的差距较大时，现有的跟踪方法往往无法在变化角度大、表情强烈或不对称、光照不均匀、背景复杂或运动速度很快的情况下获得有效的跟踪结果。

发明内容

本发明的目的在于提供一种人脸跟踪设备和方法，在所述人脸跟踪设备和方法中，首先对视频图像中的人脸部分进行预测，基于预测的结果在一个或多个约束条件下拟合预定的人脸二维模型和三维模型，从而得到跟踪的人脸的二维特性和三维特性。

根据本发明的示例性实施例，提供一种用于在视频图像中跟踪人脸的设备，所述设备包括：图像采集单元，用于接收视频图像，并将接收的视频图像中的当前帧图像输出到预测单元；预测单元，用于基于由人脸拟合单元得出的前一帧图像中人脸的二维特性和三维特性，预测出由图像采集单元输出的当前帧图像中人脸的关键点的二维位置，并将预测的关键点的二维位置输出到人脸拟合单元；以及人脸拟合单元，用于在一个或多个约束条件下，基于由预测单元预测的关键点的二维位置来拟合预定的人脸二维模型和三维模型，从而得到人脸的二维特性和三维特性。

二维特性包括二维形状，三维特性包括三维结构。

人脸拟合单元以预测单元所预测出的关键点作为初始值，在一个或多个约束条件下，拟合预定的人脸二维模型和三维模型。