[发明专利]一种多姿态人脸识别系统及其方法

权利要求书

1.一种多姿态人脸识别系统，其特征在于：所述方法通过以下步骤实现：

监控视频流人脸检测及采集模块，用于从监控视频流中提取关键帧，并通过MTCNN网络对其中的人脸进行检测，将人脸图像以长宽相同的比例截取；

人脸图像预处理模块，用于对提取的人脸图像进行等比缩放至128*128；

人脸图像转正模块，用于将输入的多姿态人脸图像进行姿态调整，将人脸姿态全部转正至正脸，并输入到人脸图像识别模块；

人脸图像识别模块，用于识别多姿态人脸图像并对人脸图像ID进行标记。

2.根据权利要求1所述的一种多姿态人脸识别系统，其特征在于：所述的监控视频流人脸检测及采集模块，还包括人脸图像定位模块和人脸图像追踪模块；

人脸图像定位模块，用于定位人脸检测区域以及定位人脸关键点；所述的人脸图像定位模块使用MTCNN模型；

人脸图像追踪模块，用于追踪两个相邻的视频中人脸图像。

3.根据权利要求1或2所述的一种多姿态人脸识别系统，其特征在于：所述的人脸图像预处理模块，还包括人脸图像剪裁模块和人脸图像缩放模块；

人脸图像剪裁模块，用于实现裁剪图像；

人脸图像缩放模块，用于实现缩放图像。

4.根据权利要求3所述的一种多姿态人脸识别系统，其特征在于：所述的人脸图像识别模块，还包括人脸识别模块和人脸ID标注模块；

人脸识别模块，用于识别人脸图像；

人脸ID标注模块，用于实现标注人脸ID。

5.依据上述权利要求1-4中任一权利要求所述的系统进行的一种多姿态人脸识别方法，其特征在于：所述方法通过以下步骤实现：

步骤一、监控视频流人脸检测及采集的步骤；

从监控视频流中提取关键帧，并通过MTCNN网络对其中的人脸进行检测，将人脸图像以长宽相同的比例截取；

步骤二、人脸图像预处理的步骤；

对上一步骤提取的人脸图像进行等比缩放至128*128；

步骤三、人脸图像转正的步骤；

将输入的多姿态人脸图像进行姿态调整，将人脸姿态全部转正至正脸，并输入到下一步骤；

步骤四、人脸图像识别模块识别多姿态人脸图像并对人脸图像ID进行标记的步骤；

步骤五、依据识别出的多姿态人脸图像以及标记的人脸图像ID进行APP封装；

通过QT平台使用C++编程语言调用本系统所述模型，最终实现用户操作APP界面实现摄像头监控场景下的人脸识别。

6.根据权利要求5所述一种多姿态人脸识别方法，其特征在于：所述的步骤一中，监控视频流人脸检测及采集的步骤还包括人脸图像追踪的步骤，是基于交并比实现人脸图像追踪的，对比位置相近的不同人脸头像框，将相同个体的头像划分为同一身份的个体类再进行后续任务，具体为：

设表示第n张视频图像帧的第i个人脸头像框，则表示第n+1张视频图像帧的第j个人脸头像框，两个头像框之间的交并比计算公式如式如下：

通过设置不同的阈值，当交并比大于阈值判断出两个头像框对应的是同一个个体。

7.根据权利要求5或6所述一种多姿态人脸识别方法，其特征在于：所述的步骤四中人脸图像识别模块是改进的多姿态人脸转正算法，

设计生成路径：

生成器G的目标是要在姿态码C的约束下产生一个真实的图像G(C，Z)，而Dc1和Ds1分别用于鉴别旋转角度的真实性和拓扑结构的真实性，此时，鉴别器D的目标是使式(2)达到最小化：

其中，P_Z为噪声的均匀分布，P_X为数据分布，为生成器输出数据分布；生成器G的目标是使式(3)最大化：

其中，(D_s,D_c)＝D，D_s表示图像真假概率，D_c表示图像姿态匹配概率；

重建路径：

重建路径和生成路径中的生成器和鉴别器关系，为：

两种路径均保持权值共享关系；在重建路径的初始阶段，编码器E进行学习，首先保持生成器G不变，对编码器E进行学习，编码器E对于生成器G的逆学习；

通过对模型输入同一个体的X1～Xn个不同图像，通过编码器E对图像X1–Xn的图片特征进行提取，表述为特征f(x1)…f(xn)，将获取的特征f(x1)至特征f(xn)进行结合，重建；

同时，在获取到f(x1)…f(xn)的同时，用全连接层预测n个数字，即这n个特征点的置信相关值，用这n个特征值对f(x1)…f(xn)进行加权平均来实现特征f(x1)…f(xn)的结合，最终生成特征空间f(x1，x2，…，xn)；

G取特征空间在姿态码c的约束下生成属于姿态c的重构图像，而Dv1和Ds1分别鉴别旋转角度的真实性和拓扑图像的真实性；因此，此时的鉴别器应使式(4)达到最小化：

而此时的生成器应使式(5)达到最大化：