[发明专利]图像处理方法和图像处理装置

说明书

技术领域

本发明涉及图像处理，并且更具体地，涉及用于对准输入图像中的对象形状的图像处理方法和图像处理装置。

背景技术

在诸如人脸识别、表情分析、3D人脸建模和人脸卡通动画之类的许多计算机视觉领域中，自动并精确地对准输入图像中的人脸形状是关键的任务。一旦对准人脸形状，就可以准确地执行用于处理人脸图像的后续操作。

众所周知，可以通过一组特征点来表示输入图像中作为对象形状的人脸形状，更具体地，可以通过一组特征点的坐标来表示输入图像中作为对象形状的人脸形状。通常，在人脸对准方法中可以使用两种模型。一种模型是在如下文档中描述的活动形状模型（ASM），该文档是T.F.Cootes、C.J.Taylor等人的“Active Shape Models-Their Training and Application”，其在1992年发表在BMVC中。在ASM中，点分布模型获取描述局部外观的一组特征点的梯度分布和形状变量。通过局部地查找对于每个特征点的局部最优匹配，来迭代地更新形状参数。另一种模型是在如下文档中描述的主动外观模型（AAM），该文档是T.F.Cootes、G.J.Edwards和C.J.Taylor的“Active Appearance Models”，其在1998年发表在ECCV中。在AAM中，通过将形状变化的模型与纹理变化的模型相组合来限制外观和形状。使用AAM可以通过使用外观模型来重构整个人脸，并通过使纹理残差最小化来估计形状。

可以通过突出特征点的图像外观来可靠地表征突出特征点。然而，人脸中的非突出特征点可以根据来自全局形状限制的特征点之间的相关性来表示，所述非突出特征点可以包括例如沿着人脸轮廓的点。在ASM和AAM中，使用通过对对象形状的坐标执行主成分分析（PCA）构建的固定参数形状模型来对形状限制进行建模。

最近，提供了一种在如下文档中描述的方法，该文档是来自Microsoft Research Asia的Xudong Cao、Yichen Wei等人的“Face Alignment by Explicit Shape Regression”，其在2012年发表在CVPR中。该方法（在下文中被称为“D1方法”）引入了一种用于执行人脸对准的基于回归的方式，该方式使用一系列的预定向量回归函数（显式形状回归）来推导由一组特征点表示的整个人脸形状。在图16中示出了D1方法的流程图，并将在下面进行描述。D1方法中的回归函数（也可以被称为回归器）是为了使得对准误差最小化而从大量训练数据学习得到的，而并不使用如ASM和AAM中的固定参数形状模型。

当执行图16所示的D1方法时，可以清楚地看到在回归过程中使用人脸形状S。更具体地，输入人脸图像。根据可以通过使用在如下文档中描述的方法确定的人脸位置矩形，来确定其人脸形状将被对准的输入图像，该文档是Paul Viola和Michael Jones的“Rapid Object Detection using a Boosted Cascade of Simple Features”，并在2001年发表于与计算机视觉和模式识别相关会议（CVPR）中。在步骤S1610处，针对输入图像，设置初始人脸形状S⁰。在步骤S1620-S1630处，依次执行级联的T个回归器。在步骤S1620处，执行第t个回归器（t是从1到T的整数），以估计当前人脸形状S^t-1和将被对准的真实人脸形状之间的人脸形状增量ΔS。D1方法中的人脸形状属于对象形状，在该步骤处，基于第t个回归器根据当前人脸形状S^t-1来计算输入图像中的一组像素差特征，该组像素差特征有利于对人脸形状增量ΔS的估计。在步骤S1630处，通过使用S^t=S^t-1+ΔS来更新人脸形状，S^t将在下一回归器中作为该下一回归器的当前人脸形状被使用。在步骤S1640处，确定t是否等于或大于T。如果确定t等于或大于T，则过程前进到步骤S1650并结束。如果确定t不等于或大于T，则通过使用t=t+1来更新t，并且过程返回到步骤S1620。