[发明专利]生成三维人脸模型的基于虚拟现实的装置和方法

说明书

提出了生成三维人脸模型的基于虚拟现实的装置和方法。一种生成3D人脸模型的基于虚拟现实的装置和方法包括存储作为现有3D脸部模型的3D脸部模型或具有至少中性表情的平均形状脸部模型。基于第一用户的脸部的多个彩色图像和深度信息来生成第一用户的脸部的点云。通过对存储的3D脸部模型进行基于形状的模型拟合来生成具有中性表情的第一用户的第一3D脸部模型。基于第一3D脸部模型、基于形状的模型拟合和生成的点云来细化第一3D脸部模型的形状。控制细化的第一3D脸部模型的显示以表现出与第一用户的脸部的形状和外观的最小偏差。

相关申请的交叉引用/通过引用的并入

本申请要求2017年3月1日提交的美国临时专利申请第62/465,534的优先权，该申请的全部内容通过引用并入本文。

技术领域

本公开的各种实施例涉及三维(3D)建模、虚拟人技术和虚拟现实。更具体地，本公开的各种实施例涉及使用图像和深度数据生成3D人脸模型的基于虚拟现实的装置和方法。

背景技术

三维(3D)计算机图形、建模领域中的进步已经提供了在3D计算机图形环境中创建3D模型并且显现真实对象的能力。3D内容(诸如3D人物模型)正在被越来越多地用在动画电影、游戏和虚拟现实系统中以增强用户体验。3D模型是类似于特定对象的形状的静态3D网格。通常，这样的3D模型是由计算机图形艺术家(常被称为建模者)通过使用建模软件应用而手动设计的。这样的3D模型在动画或各种虚拟现实系统或应用中可能以不同的方式使用。此外，在某些情况下，3D模型的脸部部分可以被认为是3D模型的最重要部分之一。目前，创建现实的3D人脸模型已经是计算机图形和计算机视觉领域中的最困难的问题之一。随着3D虚拟人技术在虚拟现实、3D游戏和虚拟仿真领域中的应用增多，开发中的基于真实的人来生成现实的3D人脸模型的技术已经变得越来越重要。

在某些情形下，3D脸部建模者可以利用用户的脸部的输入图像作为构造3D模型的基础。3D脸部建模者可以构造人脸的表面表示，诸如网格。脸部建模者还可以通过构造各种融合(blend)形状来将人脸的各种表情引入到3D脸部模型中。从创建3D脸部模型所需的各种观看角度捕获输入图像数据涉及几个复杂度。此外，用户的脸部的3D模型可能不类似于用户的实际脸部细节。例如，人脸的结构和表面表示可能不类似于用户的脸部，并且脸部模型的表情可能不与人脸的表情实时地或接近实时地匹配。3D脸部模型相对于用户的实际脸部在结构、特征和表情上的这个差异对于现实观看目的和虚拟现实应用可能是不期望的。

通过对所描述的系统与在本申请的其余部分中参照附图阐述的本公开的一些方面的比较，对于本领域技术人员来说，常规的传统方法的另外的限制和缺点将变得清楚。

发明内容

正如在权利要求中更完整地阐述的那样，基本上如附图中的至少一个所示和/或结合附图中的至少一个所描述的那样提供了一种使用图像和深度数据生成三维(3D)人脸模型的基于虚拟现实的装置和方法。

本公开的这些和其他特征和优点可以通过审阅本公开的以下详细描述、连同附图来领会，在附图中，相似的附图标记始终指的是相似的部分。

附图说明

图1是示出根据本公开的实施例的生成3D人脸模型的示例性网络环境的框图。

图2是示出根据本公开的实施例的示例性的基于虚拟现实的装置的框图。

图3A、3B、3C、3D、3E、3F、3G、3H、3I、3J、3K和3L是共同示出根据本公开的实施例的使用图像和深度数据的3D人脸模型的示例性生成的图。

图4A、4B和4C共同描绘示出根据本公开的实施例的使用图像和深度数据来生成现实的3D人脸模型的示例性操作的流程图。

具体实施方式