[发明专利]一种基于光流法的受限局部人脸关键点检测与跟踪方法

说明书

本发明公开了一种基于光流法的受限局部人脸关键点检测与跟踪方法，包括：建立人脸关键点附近邻域响应的神经网络响应模型，构建训练集，该训练集中含有人脸图像及对应图像的人脸关键点的坐标；以训练集中标记好的人脸关键点为中心位置取预设大小的邻域建立卷积神经网络，使用梯度下降法训练卷积神经网络；在第一帧处通过检测器进行人脸检测，以新的迭代更新点为中心取另一预设大小的邻域图像块，在某一邻域内以每一个像素点为中心向外扩展预设大小的邻域，送入训练好的卷积神经网络，逐像素地得到响应图块，重复操作，总计得到68个关键点位置；取68个人脸关键点之中的7个点，用光流法根据这7个点来确定下一帧图像的68个点的位置，作为下一帧的68个点的初始位置，然后根据初始位置使用受限局部模型确定人脸68个关键点的位置。

技术领域

本发明涉及人脸关键点检测领域，尤其涉及一种结合光流法跟踪算法和局部受限模型(Constrained Local Model)的用于视频的人脸关键点检测和跟踪方法。

背景技术

人脸关键点检测是要建立在人脸检测的基础上对人脸的关键点进行定位的一种基本任务。人脸关键点检测最早的算法是主动形状模型(Active Shape Model，ASM)和主动外观模型(Active Appearance Model，AAM)。这些算法属于有约束的局部模型(Constrained local model，CLM)。它通过建立一个初始的人脸关键点在图像上，然后逐点建立一个邻域，然后建立局部最大响应模型，寻找最大响应点作为下一个关键点(作为第一约束条件)，与此同时关键点的更新迭代必须要满足人脸形状变化所遵循的基准(作为第二约束条件)，上述有约束的局部模型算法在这两种约束条件下不断更新迭代，由粗到细地实现人脸的关键点定位。

但是有约束的局部模型算法要逐点建立邻域，邻域的大小是不确定的，这种不确定会增加计算量，使得人脸关键点的检测实时性变差。而且这种算法缺乏利用前后帧的信息，不能够充分利用信息量来确定关键点的位置，这样会造成资源的消耗。

发明内容

本发明提供了一种基于光流法的受限局部人脸关键点检测与跟踪方法，本发明充分利用了前后帧的信息，在保证精度的前提下，减少了检测关键点的计算量，并且提高了检测的效率，节省了资源上的消耗，可以在硬件平台上达到实时检测的效果，详见下文描述：

一种基于光流法的受限局部人脸关键点检测与跟踪方法，所述方法包括：

建立人脸关键点附近邻域响应的神经网络响应模型，构建训练集，该训练集中含有人脸图像及对应图像的人脸关键点的坐标；

以训练集中标记好的人脸关键点为中心位置取预设大小的邻域建立卷积神经网络，使用梯度下降法训练卷积神经网络；

在第一帧处通过检测器进行人脸检测，以新的迭代更新点为中心取另一预设大小的邻域图像块，在某一邻域内以每一个像素点为中心向外扩展预设大小的邻域，送入训练好的卷积神经网络，逐像素地得到响应图块，重复操作，总计得到68个关键点位置；

取68个人脸关键点之中的7个点，用光流法根据这7个点来确定下一帧图像的68个点的位置，作为下一帧的68个点的初始位置，然后根据初始位置使用受限局部模型确定人脸68个关键点的位置，以此类推，完成对视频中人脸关键点的检测和跟踪。

进一步地，所述方法还包括：

构建人脸关键点的点分布模型，基于模型获取人脸关键点的位置。

其中，所述卷积神经网络的结构包括：

输入层大小为11*11*3，第一个卷积层的滤波器的大小为3*3，滤波器的个数为4；第二层的卷积层的大小为3*3，滤波器的个数为6个，然后通过一个全连接层，输出一个神经元即可。

具体实现时，所述以训练集中标记好的人脸关键点为中心位置取预设大小的邻域建立卷积神经网络，使用梯度下降法训练卷积神经网络具体为：