[发明专利]一种基于深度视频流的三维人脸识别方法

说明书

本发明涉及一种基于深度视频流的三维人脸识别方法，包括：通过深度相机，对到人脸部位数据进行采集；采集到的点云数据进行人脸检测，获取人脸区域Rsubgt;i/subgt;，以及对应人脸区域的点云集合Csubgt;i/subgt;；通过该点云集合Csubgt;i/subgt;对人脸点云记进行模型拟合，得到关键点；关键点的三维信息，判断人脸的真伪，判断为人脸真实的人脸点云三维信息进行人脸质量的判断判断为合格的人脸点云信息进行最终的人脸识别；解决了二维人脸识别容易被虚假人脸攻击的问题，解决了动态场景下存在大角度变换、遮挡、光照不均匀、运动模糊等问题，解决了三维人脸识别中点云数据容易存在空洞、不完整等问题。

技术领域

本发明涉及人脸识别领域，尤其涉及一种基于深度视频流的三维人脸识别方法。

背景技术

在现有的人脸识别方法中，对于动态视频流的准确人脸检测以及虚假人脸攻击的防范是两项重点需求。首先，对于动态场景下的视频流，人脸目标存在大角度变换、遮挡、光照不均匀、运动模糊等种种问题，会极大的影响人脸检测的精度与效果。其次，各种虚假人脸攻击如视频攻击、照片攻击等方法使人脸识别技术在实际应用中的安全性大为降低。目前基于视频流的人脸识别方法普遍存在这两个问题。

发明内容

为了克服上述现有技术的缺点，本发明的目的是提供一种对深度点云进行人脸检测得到人脸点云，并根据人脸点云进行模型拟合，获得准确的的人脸建模模型与人脸关键点，然后对人脸点云进行深度防伪判定与质量判定，得到真实的人脸点云，最后对真实人脸点云进行人脸识别的基于深度视频流的三维人脸识别方法。

为达到上述目的，本发明采用以下技术方案，一种基于深度视频流的三维人脸识别方法，包括：

步骤101：通过深度相机，对到人脸部位的单帧点云P_i，点云P的数据进行采集；

步骤102：对步骤101采集到的点云数据进行人脸检测，得到点云集合C_i；通过单帧点云P_i，获取人脸区域R_i，以及对应人脸区域的点云集合C_i；

步骤103：通过步骤102中的得到的点云集合C_i，，通过该点云集合C_i对人脸点云记进行模型拟合，得到关键点；

步骤104：根据步骤103中得到的关键点的三维信息，判断人脸的真伪，当判断人脸为虚假，返回至步骤101，当判断人脸为真实，进入到步骤105；

步骤105：对步骤104中判断为人脸真实的人脸点云三维信息进行人脸质量的判断，当人脸质量不合格时，返回至步骤101中，当人脸质量合格时进入到步骤106中；

步骤106：对步骤105中判断为合格的人脸点云信息进行最终的人脸识别。

所述的步骤101中深度相机至少包括结构光深度相机、tof深度相机和双目深度相机，该深度相机获取的视频帧深度图像与点云序列P_i∈P，其中P_i为单帧点云，P为点云。

所述步骤103中得到的关键点的方法如下：

设三维人脸模板为其中为平均脸，a_i为模型参数，m_i为模型特征向量，同时设模板中的人脸关键点集合为K。计算当前帧人脸点云在模板M下的最优表示其中为表示参数，同时得到对应的人脸特征点集合K_c。

所述步骤104中判断人脸真伪的方法如下：

根据人脸模板的关键点集合K与当前帧的关键点集合K_c，通过求解目标方程