[发明专利]基于多帧点云融合与可变模型的三维人脸超分辨率方法

说明书

基于多帧点云融合与可变模型的三维人脸超分辨率方法，包括：S1、获取视频帧深度图像与点云序列Psubgt;i/subgt;∈P；S2、以平均脸为模板、以Psubgt;i/subgt;为目标点云计算可变模型粗糙拟合结果并且得到第一粗糙拟合分数；S3、根据第一粗糙拟合分数对Psubgt;i/subgt;进行筛选得到检测成功点云集合Psubgt;f/subgt;；S4、以Psubgt;f/subgt;中的第一个点云Psubgt;0/subgt;为目标点云，以Psubgt;f/subgt;中其余所有人脸点云Psubgt;r/subgt;为模板，将分别对Psubgt;0/subgt;进行配准得到第二粗糙拟合分数；S5、根据第二粗糙拟合分数对Psubgt;r/subgt;进行筛选，并且将通过筛选的点云转换至Psubgt;0/subgt;所在的位置，得到Psubgt;align/subgt;＝{Psubgt;0/subgt;,Psubgt;j0/subgt;}；S6、对Psubgt;align/subgt;进行转换得到平滑融合点云Psubgt;fusion/subgt;；S7、使用三维人脸可变模型对Psubgt;align/subgt;中的对象Psubgt;k/subgt;进行可变拟合，并且生成可变模型人脸融合点云Msubgt;avg/subgt;；S8、对Psubgt;fusion/subgt;和Msubgt;avg/subgt;进行融合得到三维人脸超分辨率点云Psubgt;output/subgt;。本发明能够得到高精度的人脸点云。

技术领域

本发明涉及人脸识别技术领域，具体的说是基于多帧点云融合与可变模型的三维人脸超分辨率方法。

背景技术

人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。点云超分辨率或者点云融合是人脸识别技术中的两种常用方法，主要是为了能够更好地重构人脸表面。

现有的大部分点云超分辨率或者点云融合方法，通过将三维点云信息映射到二维图像空间再进行数据融合，存在如下缺点：1、三维到二维的映射转换会导致大量信息丢失，从而降低融合后的数据精度。2、对于人脸大姿态、表情等情况，二维图像无法很好的表示这些细节，容易导致融合失败。典型的例子有中国专利“201610051083.6”公开的“人脸三维点云超分辨率融合方法及应用其的数据处理装置”、中国专利“201910322098.5”公开的“一种基于深度图像融合的人脸三维重建方法和装置”和中国专利“201810690747.2”公开的“三维人脸模型重建方法及装置”。

发明内容

为了解决现有技术中的不足，本发明提供基于多帧点云融合与可变模型的三维人脸超分辨率方法，能够得到高精度的人脸点云。

为了实现上述目的，本发明采用的具体方案为：

基于多帧点云融合与可变模型的三维人脸超分辨率方法，包括如下步骤：

S1、获取视频帧深度图像与点云序列P_i∈P，其中P_i为单帧点云，P为点云集合；

S2、以平均脸为模板、以P_i为目标点云通过ICP(迭代就近点)算法计算可变模型粗糙拟合结果并且得到第一粗糙拟合分数；

S3、根据第一粗糙拟合分数对P_i进行筛选得到检测成功点云集合P_f，并且进行集合划分；

S4、以P_f中的第一个点云P₀为目标点云，以P_f中其余所有人脸点云P_r为模板，将分别对P₀通过ICP算法进行配准得到第二粗糙拟合分数；