[发明专利]一种人脸跟踪方法及装置

说明书

本申请提供一种人脸跟踪方法及装置，用以降低关键点跟踪对初始形状的依赖性以及提高关键点跟踪对复杂环境的鲁棒性。所述人脸跟踪方法包括：根据上一帧人脸图像获得的预测形状作为当前帧人脸图像的初始形状；对所述初始形状进行降噪处理；将降噪后所述初始形状在融合形状约束下进行级联回归预测，获得当前帧的最终预测形状。

技术领域

本申请涉及人脸识别领域，尤其涉及一种人脸跟踪方法及装置。

背景技术

随着计算机和图像处理等技术的高速发展，人脸识别技术也得到了长足的进步；人脸识别不仅可以用在图像处理上，而且，也可以应用在身份鉴别等领域，因此，近些年来，人脸识别也一直是研究的一个热点。

人脸关键点的检测是人脸识别的基础，为了能够准确地识别出视频流中的人脸，需要对视频流中的每一个人脸进行人脸关键点跟踪。所谓人脸关键点，指的是能够反映人脸特征的信息，比如眼睛、眉毛、鼻子、嘴巴、以及脸部外轮廓等。

但关键点跟踪算法依赖初始形状，受光照、遮挡、姿态表情影响严重，因而如何降低关键点跟踪对初始形状的依赖性以及提高关键点跟踪对复杂环境的鲁棒性是亟待解决的技术问题。

发明内容

本申请提供一种人脸跟踪方法及装置，用以降低关键点跟踪对初始形状的依赖性以及提高关键点跟踪对复杂环境的鲁棒性。

本申请实施例提供一种人脸跟踪方法，所述方法包括：

根据上一帧人脸图像获得的预测形状作为当前帧人脸图像的初始形状；

对所述初始形状进行降噪处理；

将降噪后所述初始形状在融合形状约束下进行级联回归预测，获得当前帧的最终预测形状。

优选的，所述对所述初始形状进行降噪处理，具体包括：

对训练集中多个训练人脸图像的真实形状进行归一化；

将归一化后的所述训练人脸图像对应的样本形状进行PCA降维，得到n个主形状；

根据n个所述主形状对所述初始形状进行形状重构，获得降噪后的所述初始形状。

优选的，所述对训练集中多个训练人脸图像的真实形状进行归一化，具体包括：

将训练集中的任一所述训练人脸图像对应的所述真实形状作为预设基准形状，将所有剩下的所述训练人脸图像对应的所述真实形状对齐到该所述预设基准形状；

计算对齐到所述预设基准形状后的所有所述训练人脸图像对应的所述真实形状的平均形状，并将其作为基准形状；

将所有所述训练人脸图像对应的所述真实形状对齐到该所述基准形状；

至少重复一次计算对齐到所述基准形状后的所有所述真实形状的平均形状，并每一次相应将所有所述真实形状对齐到重新确定的平均形状，直到终止条件。

优选的，所述将降噪后所述初始形状在融合形状约束下进行级联回归预测，获得当前帧的最终预测形状，具体包括：

将降噪后的所述初始形状根据关键点的关联性划分为多个组；

在每一迭代回归预测阶段，分别计算每一组的形状增量；

将每一组的所述形状增量进行融合，得到当前阶段的最终形状增量；

根据当前阶段的所述最终形状增量，更新当前阶段的形状并作为下一阶段的起始形状。

优选的，所述计算每一组的形状增量，具体包括：

通过下式计算每一组的形状增量，