[发明专利]一种基于神经网络和光流法的人脸追踪系统和追踪方法

说明书

本发明提供了一种基于深度神经网络和光流法的超实时人脸稳定追踪系统和追踪方法，通过深度神经网络确定首帧人脸框；通过光流法，对当前画面帧和上一帧做对比，得到当前帧人脸框；每隔几帧使用深度神经网络验证光流法得到的图像是否是人脸；追踪和验证，任一阶段失败则重复执行人脸检测程序，直到出现人脸进入追踪程序。所述追踪系统可以实现超实时的长效稳定的人脸追踪，以提高人脸检测和追踪方法在各领域内的实际应用效果。

技术领域

本发明属于人脸追踪技术领域，具体涉及一种基于深度神经网络和光流法的超实时人脸稳定追踪系统和追踪方法。

背景技术

深度神经网络的快速发展，极大的带动了基于人脸的相关应用，比如美颜相机，安全门禁，犯罪监视与追踪等。对于这些任务，准确的检测和追踪人脸是关键的一步。特别是对于一些特殊任务来说，例如人脸生物信号提取，静态人脸活体检测和人脸情绪分析，高度稳定的检测和追踪人脸框是十分必要的，因为这会大大降低提取信号中所夹杂的噪音。

与传统计算机视觉方法一样，早期的人脸追踪工作主要围绕在特征工程和色彩空间。也有一部分工作将通用物体追踪方法应用在人脸追踪上，比如Tracking-Learning-Detection(TLD)是一个经典的通用物体追踪方法，在其基础上衍生出了很多人脸追踪方法；其后，还有通过光流法配合Viola-Jones人脸检测得到一个似然图，在似然图上就可以得到当前帧下人脸框的位置。随着深度神经网络的成功和快速发展，人们的注意力被其吸引，出现了很多基于深度神经网络的人脸追踪方法。比如基于通用物体检测Faster RCNN的人脸追踪方法Face Tracking with Region-based CNN(FT-RCNN)。

理论上来讲，人脸检测方法是可以应用在人脸追踪上的，但是检测和追踪不能完全混为一谈。因为追踪更关注于视频画面中帧与帧之间相同人脸的内在联系。换句话说，人脸追踪系统更在乎不同画面帧中相同人脸的模式关系，而不像人脸检测方法那样只着眼于当前画面帧。

人脸检测和对齐任务在近几年十分火热，很多基于深度学习的方法被提了出来并且部署应用到商业领域，但是这些方法中很少有关于人脸追踪方向的。由于边缘计算设备在计算性能上的限制，科学家们在算法性能方面投入了很多精力。然而，卷积神经网络是被普遍认为是计算能效很低的。

发明内容

为了解决目前人脸追踪领域中卷积神经网络计算效能低下问题，本发明提出了一种创新的融合了卷积神经网络和光流法的人脸追踪策略——一种基于深度神经网络和光流法的超实时人脸稳定追踪系统和追踪方法，本发明是一种极度快速且高计算能效的长效人脸追踪系统。并且，通过本发明生成得到的任意相邻两帧间人脸框的变化十分平滑且稳定，给生物信号提取、静态人脸活体检测和人脸情绪分析提供了极大的便利。

本发明的技术方案如下：

1、一种基于深度神经网络和光流法的超实时人脸稳定追踪系统，所述追踪系统包含三个模块：人脸检测模块、人脸追踪模块和人脸验证模块；

所述人脸检测模块负责在当前画面帧中检测人脸，其由三个深度神经网络组成，分别包括子网络一、子网络二和子网络三；

所述人脸检测模块的检测步骤如下：

1)所述子网络一负责找出当前输入图片中可能是人脸的感兴趣区域，经过非极大值抑制算法过滤掉部分覆盖超过阈值0.7的感兴趣区域后进入子网络二；

2)所述子网络二进行二分类，初略判断每一个感兴趣区域是否为人脸；最后，将子网络二分类为正样本的感兴趣区域传入子网络三；

3)所述子网格三再进行一次二分类，选出最终的结果；

4)如果当前画面帧没有找到人脸，则重复步骤1)-3)；

5)如果找到当前帧人脸，则从第二帧开始进行人脸追踪程序；