[发明专利]用3D脸部建模和地标对齐扩增造型的方法

说明书

技术领域

一般而言，本公开涉及图像处理领域。更具体地说，本发明的实施例涉及在用于个性化面部图像的处理系统中由处理器执行的扩增现实应用。

背景技术

在个人计算机(PC)、手持计算装置和嵌入式细分市场中，消费者对脸部技术和相关应用极其感兴趣。当摄像机被用作捕获用户的直播视频流的输入装置时，存在观看、分析、交互和增强“镜子”装置中用户的脸部的广泛需求。计算机实现的脸部和化身技术的现有方法落入四个截然不同的主要类别中。第一类别使用诸如局部二值模式(LBP)、Gabor滤波器、比例不变特征变换(SIFT)、加速鲁棒特征(SURF)和梯度方向直方图(HOG)的技术来特征化面部特征。第二类别处理单个二维(2D)图像，诸如脸部检测、面部识别系统、性别/种族检测和年龄检测。第三类别考虑用于脸部跟踪的视频序列、用于对齐的地标检测和表情评价。第四类别对三维(3D)脸部建模并提供动画。

在大多数当前解决方案中，脸部相关应用中的用户交互基于2D图像或视频。此外，整个脸部区域是用户交互的目标。当前解决方案的一个缺点是，用户不能与部分脸部区域或个体特征交互，也不能在自然3D空间上操作。尽管存在可给用户呈现3D脸部模型的小量应用，但通常提供通用模型。这些应用缺乏定制的能力，并且没为用户提供身临其境的体验。期望更好的方法，理想的是在单个处理系统中组合所有四种能力(面部特征、2D脸部识别、视频序列中的脸部跟踪和用于对齐的地标检测以及3D脸部动画)的方法。

附图说明

参考附图提供详细描述。在不同图中使用相同附图标记指示类似或相似项目。

图1是根据本发明一些实施例的扩增现实组件的图解；

图2是根据本发明一些实施例在扩增现实组件中生成用户的个性化面部组件的图解；

图3和4是根据本发明实施例的脸部检测处理的示例图像。

图5是根据本发明的实施例当在脸部图像上应用左嘴角的级联分类器时可能性响应图像示例及其平滑结果。

图6是根据本发明实施例的旋转参数、平移参数和缩放参数的例证。

图7是根据本发明实施例示出用于地标点检测处理的大范围脸部变化的示例图像集合。

图8是根据本发明实施例示出脸部上95个地标点的示例图像。

图9和10是根据本发明实施例在各种脸部图像上执行的2D面部地标点检测处理的示例。

图11是根据本发明实施例的地标点配准处理的示例图像。

图12是根据本发明实施例的摄像机模型的例证。

图13例证了根据本发明实施例的几何重新投射误差。

图14例证了根据本发明实施例的迷你球滤波的概念。

图15是根据本发明实施例的纹理映射框架的流程图。

图16和17是例证根据本发明实施例从多视图图像进行3D脸部构建的示例图像。

图18和19例证了处理系统实施例的框图，其可用于实现本文讨论的一些实施例。

具体实施方式

本发明实施例在比先前方法更“精密尺度”和更“个性化”的基于处理器的应用内提供了与面部图像的交互以及面部图像的增强。通过“精密尺度”，用户例如可与诸如眼睛、嘴巴、鼻子和脸颊等个体脸部特征交互，并扩增它们。“个性化”意味着，面部特征可对于每个人类用户特征化，而不是限于可应用于每个人的通用脸部模型。通过在本发明实施例中提出的技术，可对于处理系统的各种细分市场实现高级脸部和化身应用 。

在以下描述中，阐述了大量特定细节以便提供对各种实施例的透彻理解。然而，本发明的各种实施例可在没有这些特定细节的情况下实施。在其它实例下，众所周知的方法、过程、组件和电路未详细描述，以免模糊了本发明的具体实施例。另外，可以使用各种构件来执行本发明实施例的各种方面，各种构件诸如是集成半导体电路(“硬件”)、组织成存储在计算机可读存储介质上的一个或多个程序的计算机可读指令(“软件”)或硬件和软件的某种组合，。为了本公开的目的，对“逻辑”的引用将意味着或者硬件、软件(例如包含控制处理器操作的微代码)、固件或它们的某种组合。

本发明的实施例处理从摄像机捕获的用户的脸部图像。在将脸部图像拟合到通用3D脸部模型之后，本发明的实施例便于最终用户与用户的脸部的个性化化身3D模型的交互。通过从2D脸部图像到3D化身模型的地标映射，可个体地特征化首要面部特征，诸如眼睛、嘴巴和鼻子。通过这种方式，可提供比先前技术更加自然且身临其境的高级人机交互(HCI)交互，诸如虚拟造型。