[发明专利]一种智能人脸识别方法

说明书

本发明公开了一种智能人脸识别方法，包括步骤：1)人脸检测：从原始图片中截取出以人面部为主要内容的源姿态人脸图片；2)人脸对齐：识别并定位源姿态人脸图片中的人脸关键点；3)人脸姿态旋转：根据源姿态人脸图片和选定姿态，保留其身份信息和表情信息，生成目标姿态人脸图片；4)人脸表情与身份识别：结合源姿态人脸图片与目标姿态人脸图片，判断图片中人脸的表情与身份。本发明提出结合注意力机制、生成对抗网络、集成学习三大创新要点，建立端到端的识别方法。突破极端姿态的限制，将合成正面图片用于无约束条件的人脸身份、表情识别，取得准确率与鲁棒性的提升，在人脸识别领域拥有广阔的应用前景。

技术领域

本发明涉及人脸识别的技术领域，尤其是指一种智能人脸识别方法。

背景技术

人脸相关的视觉任务是计算机视觉应用的重要领域，在深度学习的帮助下已经取得了巨大的进展。然而现实应用场景下的多视角、表情、光照、遮蔽等复杂因素严重制约着视觉算法的性能，其中以姿态变化对性能的劣化最为严重。由此提出的“旋转后识别”策略，即人脸旋转至正面后进行识别，是解决人脸姿态问题的主流手段之一。参见图1，人脸“旋转后识别”的普遍流程可归纳为人脸检测、人脸对齐、人脸姿态旋转、人脸识别。

人脸检测：即从原始图片中截取出以人面部为主要内容的局部图片，将其输入给后续流程。目前主流的人脸检测方式为由粗到细，按不同的窗口大小与步长对全图切片，再由不同深度的网络判断其中是否包含面部图像，并对边界框的定位做出修正，最终得到若干个最可能包含面部图像的图片区域。

人脸对齐：要求识别定位人脸关键点。人脸关键点指在面部图片预定义的特征点，主要定位于面部组件如五官、面部轮廓的周围或中心。常用的68个关键点标注方案参见图2。

人脸姿态旋转：给定任意姿态的人脸图片，保留其身份信息和表情信息，转换生成具有视觉真实感的其他姿态图片。在目前的文献环境中，多特指水平方向旋转的面部正面化，即给定非正面的人脸图片，生成其正面姿态图片。例如，在少数据源情况下的人脸3D建模；在照片编辑中，可将合照中未看向镜头的人脸纠正为直视镜头；在虚拟现实和增强现实中的人脸合成等。人脸旋转主要包括2种技术路线，一为2D路线，将源姿态人脸图片直接转换为目标姿态人脸图片；二为3D路线，根据源姿态人脸图片构建3D模型，再将3D模型旋转至目标姿态，投影至2D平面并渲染出最终图片。本发明采用2D策略。

人脸识别：人脸识别是一个宽泛的说法，详细的应用分类包括人脸身份验证、身份识别、属性识别、表情识别等。身份识别主要有两种应用形式。身份查询，给定待检测人脸与一定规模的人脸数据库，识别出待检测人脸的身份编号；身份验证，给定待检测人脸与对比人脸，判断二者是否为同一身份。

表情识别：一般对表情的描述分为离散标签、表情动作单元、连续表情空间。出于简单实用的角度，本发明采用离散标签方式。7种基本表情的分类包括“恐惧”,“愤怒”,“厌恶”,“快乐”,“中性”,“悲伤”,“惊讶”，参见图3。

尽管人脸识别已经广泛地应用到了社会生活的方方面面，如基于人脸身份验证的各种通行、支付验证，基于身份识别和表情识别的人机情感交互、公共管理监控、驾驶员监控等。然而在现实应用环境中，有大量的人脸识别任务面对的是充满变化的姿态、表情、光照、遮蔽等无约束人脸条件。尤其是极端姿态，对人脸识别系统性能的劣化最为严重。

前期对人脸极端姿态识别的研究中，Liu等基于离散姿态标签，训练训练多个彼此独立的子网络用于提取底层特征，并在特征提取中采用简单的注意力子通道策略，计算效率与灵活性都较弱。

目前甚少有研究成果在人脸正面化的过程中研究表情特征的保持与识别。既有的人脸“旋转后识别”算法，或在生成图片的视觉效果上有明显缺陷，或不能还原激烈的表情动作，或对竖直方向的姿态变化缺乏建模学习，甚至Luan等提出在旋转过程中剔除表情信息的干扰，将多种表情人脸回归为正面中性表情人脸。人脸旋转与识别领域存在长足的进步空间。

发明内容