[发明专利]用于面部对准的系统和方法

说明书

本发明公开了一种用于面部对准的系统和方法。用于面部对准的方法可包括：基于面部图像中的预定面部形状提取所述面部图像的特征；通过将回归量施加到所提取的特征，估计多个预定域中的每个预定域的形状残差；通过将所述形状残差与所述预定面部形状相加计算每个所述预定域的回归形状；基于所述回归形状获得每个所述预定域的特征；通过使用所获得的特征预测组合向量；通过使用预测的组合向量对所述回归形状加权；以及组合经加权的回归形状以输出组合形状。

技术领域

本申请涉及图案识别的技术领域，更具体地涉及用于面部对准(face alignment)的系统和方法。

背景技术

面部对准旨在自动地确定对于许多后续处理模块(例如面部识别、属性预测和稳健的面部转正(face frontalisation))来说是必不可少的面部部分的位置。

面部对准的研究近年来得到快速发展。超出正偏面部(frontally biased face)的、无约束的面部对准是新兴的研究主题。然而，现有方法无法恰当地处置具有无约束的变化的面部。

例如，监督下降方法(SDM)是主流方法当中的一种代表性方法。如图1(a)所示，即使该方法是在AFLW数据集(该数据集提供了通常在无约束的场景中发现的良好图像示例)上进行再训练，但是其有效范围也限制于正偏面部内，且其由于丰富表情所导致的、大的头部旋转和面部变形而难以覆盖增大的形状参数空间。Xiong和De la Torre具有相同的观点结论—例如SDM的级联回归量仅在特定均质下降域(DHD)内有效(参见X.Xiong和F.De laTorre在2015年度的CVPR提交的Global supervised descent method(全局监督下降方法))。

还提出了一种直观多视角(intuitive multi-view)方法。首先估计头部位姿，继之在特定视角对准面部。尽管存在性能改进，然而如图1(b)所示，这种方式相对于仅头部位姿的试探性分割(heuristic partitioning)仍不是最佳的，这是因为其忽略了其它形状变形或外观变化，例如大的嘴巴、大的面部缩放或太阳镜。此外，此方法假设不同视角模型之间是独立的而没有考虑其互补和规则化角色。因此，头部位姿估计所导致的误差可能容易传播和放大到最终形状估计，从而降低总体稳健性。

以上方法表明利用单个模型和多个模型都难以覆盖超出正面面部的较宽范围的形状和外观变化。

因此，需要一种切实可行的方法来解决无约束的面部对准的问题。

发明内容

本申请旨在提供一种用于无约束的面部对准的、有效且高效的方法。该方法不依赖于3D面部建模(modelling)和3D标注(annotation)，且不需要假设位姿的范围。该方法可很好地处理整个AFLW数据集中的任意视角位姿和丰富的表情。此外，在不需要时间先验(temporal prior)的情况下可以在单个图像上实现对准。本申请通过使用级联的组合学习(cascaded compositional learning)实现此目的。

本申请的一方面公开了一种用于面部对准的方法，可包括：基于面部图像中的预定面部形状提取所述面部图像的特征；通过将回归量施加到所提取的特征，估计多个预定域中的每个预定域的形状残差(residual)；通过将所述形状残差与所述预定面部形状相加计算每个所述预定域的回归形状；基于所述回归形状获得每个所述预定域的特征；通过使用所获得的特征预测组合向量；通过使用预测的组合向量对所述回归形状加权；以及组合经加权的回归形状以输出组合形状。

根据本申请的实施方式，提取所述面部图像的特征包括：将所述预定面部形状的至少一个关键部位的每个关键部位周围的区遍历通过预定决策森林的每个树，直到到达每个树的叶节点；为每个所述关键部位(landmark)获得用于指示在所述树中到达的叶节点的向量；以及组合为每个所述关键部位获得的向量以输出被提取的特征。