[发明专利]用于图像对准的最佳梯度寻踪

说明书

关于联邦资助的研究和开发的声明

本发明是在由国家司法研究所授予的资助号2007-DE-BX-K191下用政府支持而做出的。政府对本发明享有一定权利。

技术领域

本公开通常涉及图像对准，以及在某些实施例中，涉及用于对准面部图像的技术。

背景技术

基于模型的图像登记/对准在计算机视觉中是感兴趣的课题，其中模型变形以使模型到图像的距离最小化。特别地，由于面部对准使能各种实际能力(例如，面部特征检测、姿势矫正以及面部动画)而对面部对准感兴趣，并且由于在姿势、亮度、表情以及咬合的面部表观变化而提出科学的挑战。以前的技术包括主动形状模型(ASM)，其拟合统计的形状模型到目标类。ASM延伸出主动表观模型(AAM)，其用于面部对准。在基于AAM的模型拟合期间，从表观模型合成的表观实例与来自输入图像的翘曲的表观之间的均方差通过迭代地更新形状和/或表观参数而最小化。尽管当在小的对象集上学习和拟合时AAM可以相当好地进行，但是当在大的数据集上训练和/或在模型学习期间拟合到看不见的对象时其性能迅速降低。

除了基于生成模型(generative model)的方式例如AAM以外，还有基于判别模型(discriminative model)的对准方式。增强的表观模型(BAM)利用与AAM相同形状的模型，但是为完全不同的表观模型，其实质上为两类分类器并从正确的和不正确的翘曲图像集判别地学习。在模型拟合期间，BAM旨在通过沿着梯度方向更新形状参数来最大化分类器评分。尽管与AAM相比，BAM在拟合看不见的图像上已示出更好的普遍化，但是一个潜在的问题是当扰乱形状参数时学习的二进制分类器不能保证凹的评分表面。换句话说，沿着梯度方向的挪动并不总是改进对准。增强的排序模型(BRM)由通过学习加强凸性来减轻此问题。使用其中一个比另一个对准更好的翘曲图像对，BRM学习试图在所有训练对中正确地排序两个翘曲图像的评分函数。然而BRM比以前的技术可提供某些优势，在图像对准方面可达到如以下描述的进一步的改进。

发明内容

以下阐述与原始要求保护的发明范围相当的某些方面。应该理解，所呈现的这些方面仅为读者提供本公开主题的各种实施例可能采取的某些形式的简短概要，并且这些方面并不旨在限制本发明的范围。事实上，本发明可以包括可能不在下面阐述的多种方面。

本公开主题的实施例可通常涉及图像对准。在一个实施例中，一种方法包括获取人的面部图像并使用判别面部对准模型以将通用面部网格对准到面部图像以帮助面部图像的面部特征的定位。判别面部对准模型可包括生成形状模型组件以及判别表观模型组件。判别表观模型组件可用训练数据训练以评估评分函数，该评分函数为给定图像的形状参数的函数，并力图最小化用于形状参数的评分函数的梯度方向与用于形状参数的理想对准移动方向之间的角度。

在另一实施例中，一种系统包括：具有多个存储的例程的存储器装置以及配置为执行该多个存储的例程的处理器。该多个存储的例程可包括配置为访问训练图像集的例程，以及配置为使用该训练图像集训练表观模型以学习对准评分函数的例程，该对准评分函数将对准评分函数的梯度方向与理想移动方向之间的角度最小化到期望对准。

在额外的实施例中，一种制品包括：具有存储在其上的可执行指令的一个或多个非暂时性计算机可读介质。可执行指令可包括适应于访问包括人面部的图像的指令以及适应于使用判别面部对准模型对准人面部的指令。判别面部对准模型可包括训练为评估对准评分函数的判别表观模型，该对准评分函数最小化对准评分函数的梯度方向与指向该对准评分函数的最大值的方向的向量之间的角度。

上述指出的特征的各种改善与本文描述的主题的各方面相关而存在。更多的特征也可并入这些各方面。这些改善和额外的特征可单独或以任意组合存在。例如，以下讨论的与一个或多个图示的实施例相关的各种特征可单独或以任意组合并入任何本公开描述的实施例中。再次，上述呈现的简短概要仅旨在使读者熟悉本文公开的主题的某些方面和情景而不限制要求保护的主题。

附图说明

当参照附图阅读接下来的详细描述时，本技术的这些以及其他特征、方面和优势将变得更好理解，其中在通篇附图中类似标号表示类似部件，其中：

图1是根据本公开的实施例的面部形状模板；

图2描绘通过BRM学习的凹的对准评分函数的例子；

图3描绘根据本公开的实施例的在其中梯度方向与理想移动方向更接近地对准的对准评分函数；