[发明专利]一种基于3D人脸模型的视频监控动态人脸识别方法及装置

说明书

本发明公开了一种基于3D人脸模型的视频监控动态人脸识别方法及装置，包括：提取采集端采集到的待识别二维人脸图像的二维特征，并将其转换为三维人脸图像，提取转换得到的三维人脸图像的三维特征，串联得到包含二维信息与三维信息的第一融合特征；同时，提取识别端预存的三维人脸模型的三维信息，并将预存三维人脸模型投影至二维投影图像，提取投影图像的二维特征，串联得到包含二维信息与三维信息的第二融合特征，最后利用两个融合特征进行人脸识别；相应的融合特征在二维纹理信息基础上充分融合了三维形状信息，改善只利用二维纹理信息进行识别所存在的无法在复杂环境下识别成功的问题，有效提高识别的准确率、保证识别算法的鲁棒性。

技术领域

本发明涉及计算机视觉与模式识别技术领域，特别涉及一种基于3D人脸模型的视频监控动态人脸识别方法及装置。

背景技术

人脸识别技术已经成为新一代人工智能研究开发和应用的热点和亮点。得益于大数据、深度学习等新一代人工智能技术的迅速发展，基于二维(2D)图片的人脸识别技术在环境可控、用户配合的多个应用领域如安全检查、金融等取得了重要应用，产生了巨大的社会与经济效益。然而，对于更广泛的环境不可控、用户非配合的动态场景下的应用如视频监控动态人脸识别，现有人脸识别技术的性能依然远未满足应用需求。基于三维(3D)人脸模型的人脸识别技术是未来发展的趋势之一，3D人脸模型比2D人脸图片拥有诸如三维形状等更加丰富的信息，可提高环境不可控、用户非配合如大姿态、多光照变化等动态情况下的识别性能。然而对于注册端和识别端都采用3D传感器捕获3D人脸，将目前社会上所有的2D摄像头都改造成3D传感器则是不能短时间内实现。一种实用方案是注册端采集3D人脸模型，而识别端采集一张或多张2D人脸图片进行识别，即利用三维人脸模型识别二维人脸图片的相关技术。

目前涉及利用三维人脸模型识别二维人脸图像的技术较为匮乏，多数还停留在利用三维人脸模型识别三维人脸的阶段，而非利用三维人脸模型去识别二维人脸图像。申请公布号为CN108427871A的中国发明专利申请公开了一种3D人脸快速身份认证方法和装置，其将三维人脸模型旋转到待识别二维图像相同的姿态并投影到二维图像，再将投影后的二维图像与待识别的二维图像进行比对识别。申请公布号为CN109858433A的中国发明专利申请公开了一种基于三维人脸模型识别二维人脸图片的方法及装置，其将三维人脸模型与单张二维图片通过某一准则都投影到多个姿态再分别进行匹配识别。然而，以上方法存在只将三维人脸模型投影到二维图像，利用三维信息进行二维图片的对齐，最后利用对齐后的二维纹理信息进行人脸识别，但是其在特征对比过程中并没有直接利用三维人脸蕴含的三维形状信息进行人脸识别。

发明内容

本发明的目的在于克服现有利用三维人脸模型识别二维人脸图像的技术所存在的未利用三维形状信息进行人脸识别的缺陷，提供一种基于3D人脸模型的视频监控动态人脸识别方法及装置，在提取待识别二维图像的二维信息、预存的三维人脸模型的三维信息对应的二维投影信息的基础上，通过将采集端采集到的待识别二维图像转换为三维人脸模型，并对三维人脸模型做UV转换，得到三维信息，同时利用UV转换提取识别端预存的三维人脸模型的三维信息，再利用二维信息、三维信息的融合特征进行特征对比、人脸识别；通过联合二维纹理信息与三维形状信息进行人脸识别，改善只使用二维投影图像(只利用二维纹理信息)进行识别所存在的无法在复杂环境下识别成功的问题，有效提高识别的准确率。

为了实现上述发明目的，本发明提供了以下技术方案：

一种基于3D人脸模型的视频监控动态人脸识别方法，包括：

A、提取N张待识别二维人脸图像；利用第一特征提取器对N张所述待识别二维人脸图像进行特征提取，得到第一二维特征向量；其中，N为整数且N≥1；

以及，将N张所述待识别二维人脸图像转换为三维人脸模型，对所得三维人脸模型进行UV展开，得到第一UV图，利用第二特征提取器对第一UV图进行特征提取，得到第一三维特征向量；串联所述第一二维特征向量与第一三维特征向量，得到第一融合特征向量；