[发明专利]基于学习的嵌入的面部重建

说明书

本公开提供了一种基于面部图像执行面部重建的系统和方法。特别地，本公开的一个示例系统将机器学习的图像识别模型与使用人的面部外观的可变形模型的面部建模器相结合。图像识别模型可以是深度学习模型，其响应于接收到图像(例如，面部的非受控图像)而生成嵌入。示例系统还可以包括结构上位于图像识别模型和面部建模器之间的小型、轻量级翻译模型。翻译模型可以是机器学习模型，其被训练成接收由图像识别模型生成的嵌入，并且作为响应，输出可由面部建模器使用的多个面部建模参数值以生成面部模型。

技术领域

本公开一般涉及面部重建和面部图像分析。更具体地，本公开涉及基于从机器学习的面部识别模型获取的嵌入来重建面部。

背景技术

在某些情况下，可以期望知道一个或多个面部属性(例如，面部形状、眼睛颜色、头发长度等)的值。例如，可以使用特定面部的一个或多个面部属性的值来生成这样的面部的艺术渲染。在一个轻松的示例中，艺术渲染可以是包括面部的卡通版本(例如，与幽默短语一起的)的个性化表情。

在某些现有产品中，为了获取诸如个性化表情的艺术渲染，可能需要用户手动输入或选择一个或多个面部属性的特定值。由于要求用户手动选择正确的值和/或从有限数量的可用选项中选择正确的值，所以该过程可能是耗时的，并且易于降低质量结果。

因此，存在技术问题，其可概括为不能基于描绘面部的输入图像自动生成面部属性的精确值。特别地，一个特别具有挑战性的场景是：当只有面部的非受控图像可用时，自动生成这样的面部属性的值。特别地，非受控图像可以是不满足所有期望因素的图像。例如，非受控图像可以是图像和/或对象未能呈现中性面部表情、正面姿势(例如，看着相机)、甚至照明和/或其他因素的图像。例如，在糟糕的照明条件的情况下，人不看相机的照片可以是非受控图像。因此，存在技术问题，其可概括为不能基于面部的非受控图像自动生成面部属性的精确值。

此外，存在许多用于计算机辅助的人面部重建的技术。例如，某些现有的计算机实现的面部建模技术可以从面部的照片图像中生成纹理化的面部三维模型。可以基于该三维模型来渲染面部的二维图像。

然而，许多这样的计算机辅助重建技术需要迭代优化(例如，所生成的模型相对于照片图像的迭代优化)或者需要大的面部建模参数的训练集。依赖于迭代优化的重建技术可能是缓慢且计算昂贵的。此外，优化有时可能无法收敛或产生极低质量的结果。

因此，存在技术问题，其可以概括为：不期望的面部重建技术对迭代优化的依赖和/或不期望地使用大的图像和面部建模参数的训练集。

发明内容

本公开的实施例的方面和优点将在下面的描述中部分阐述，或者可以从描述中获知，或者可以通过实施例的实践获知。

本公开的一个示例方面针对一种获取面部的面部属性数据的计算机实现方法。该方法包括由一个或多个计算设备获取面部图像。该方法包括由一个或多个计算设备获取由机器学习的图像识别模型提供的嵌入。该嵌入是通过机器学习图像识别模型响应于图像识别模型接收面部图像而提供的。该方法包括由一个或多个计算设备将嵌入输入到机器学习的翻译模型中。该方法包括由一个或多个计算设备接收作为翻译模型的输出的多个面部建模参数值。多个面部建模参数值描述面部的多个面部属性。

本公开的另一示例方面针对一种被配置为从面部图像获取面部属性数据的计算系统。计算系统包括至少一个处理器。该计算系统包括机器学习的翻译模型，能够将其操作为接收从机器学习图像识别模型获取的嵌入，并且响应于接收到嵌入，输出描述面部的多个面部属性的多个面部建模参数值。所述计算系统包括至少一个非暂时性计算机可读介质，其存储指令，所述指令在由所述至少一个处理器执行时使得所述计算系统：从图像识别模型获取嵌入，该嵌入由所述图像识别模型响应于所述图像识别模型接收到面部图像而产生；将嵌入输入到翻译模型中；以及接收作为所述翻译模型的输出的多个面部建模参数值。