[发明专利]一种基于光流法的受限局部人脸关键点检测与跟踪方法

权利要求书

1.一种基于光流法的受限局部人脸关键点检测与跟踪方法，其特征在于，所述方法包括：

建立人脸关键点附近邻域响应的神经网络响应模型，构建训练集，该训练集中含有人脸图像及对应图像的人脸关键点的坐标；

以训练集中标记好的人脸关键点为中心位置取预设大小的邻域建立卷积神经网络，使用梯度下降法训练卷积神经网络；

在第一帧处通过检测器进行人脸检测，以新的迭代更新点为中心取另一预设大小的邻域图像块，在某一邻域内以每一个像素点为中心向外扩展预设大小的邻域，送入训练好的卷积神经网络，逐像素地得到响应图块，重复操作，总计得到68个关键点位置；

取68个人脸关键点之中的7个点，用光流法根据这7个点来确定下一帧图像的68个点的位置，作为下一帧的68个点的初始位置，然后根据初始位置使用受限局部模型确定人脸68个关键点的位置，以此类推，完成对视频中人脸关键点的检测和跟踪。

2.根据权利要求1所述的一种基于光流法的受限局部人脸关键点检测与跟踪方法，其特征在于，所述方法还包括：

构建人脸关键点的点分布模型，基于模型获取人脸关键点的位置。

3.根据权利要求1所述的一种基于光流法的受限局部人脸关键点检测与跟踪方法，其特征在于，所述卷积神经网络的结构包括：

输入层大小为11*11*3，第一个卷积层的滤波器的大小为3*3，滤波器的个数为4；第二层的卷积层的大小为3*3，滤波器的个数为6个，然后通过一个全连接层，输出一个神经元即可。

4.根据权利要求1所述的一种基于光流法的受限局部人脸关键点检测与跟踪方法，其特征在于，所述以训练集中标记好的人脸关键点为中心位置取预设大小的邻域建立卷积神经网络，使用梯度下降法训练卷积神经网络具体为：

以人脸关键点为中心取11*11大小的邻域输入到卷积神经网络中，

若取到中心点为人脸关键点的11*11大小的邻域图像块，输入到卷积神经网络中，输出值设为1；

若取到的11*11大小的图像块中心点不是人脸关键点时，卷积神经网络的输出值为0。

5.根据权利要求1所述的一种基于光流法的受限局部人脸关键点检测与跟踪方法，其特征在于，所述7个位置具体为：

左眼睛左边的点，左眼睛右边的点，右眼睛左边的点，右眼睛右边的点，鼻子的点，左嘴角的点和右嘴角的点。

6.根据权利要求1所述的一种基于光流法的受限局部人脸关键点检测与跟踪方法，其特征在于，所述68个关键点位置具体为：

其中，

v_{optical_flow}＝＝x₂-x₁

式中，ρ为方差；而λ_i是主成分分析法得到的主成分的权重；λ_m为第m个主成分的权重；J为雅克比行列式；P为{S，R，q，t}；S为缩放因子，R为旋转因子，q为主成分分析法中的特征值，t为平移因子；x_i为人脸关键点的位置。