[发明专利]调整头部区域的数字表示

说明书

本发明公开了用于生成用于调整头部区域的数字表示的参考数据的方法和设备，以及用于调整头部区域的所述数字表示的方法和设备。在一些布置结构中，训练数据被接收。第一机器学习算法使用所述训练数据来生成第一参考数据。第二机器学习算法使用相同的训练数据和由所述第一机器学习算法生成的所述第一参考数据来生成第二参考数据。

技术领域

本申请涉及调整头部区域，具体地面部和/或颈部区域的数字表示，诸如图像或三维几何表示。本申请具体涉及调整头部区域的数字表示的目标特征，例如以校正所感知的眼睛的注视方向，或修改特征诸如鼻子、嘴、下巴或颈部的纹理和/或形状。

背景技术

在许多系统中，可以在一个设备中捕获头部图像并且在一个不同设备上显示头部图像以供观察者观看，这些头部图像可以包括不同时间的单个图像、或者多对立体图像或其他多视角图像。一个非限制性示例是用于在两个电信设备之间执行远程会议的系统。在该情况下，每个设备可以捕获该设备的观察者的图像，并且通过电信网络将图像传输到另一个设备以供显示并由另一个设备的观察者观看。也可以例如使用深度测量(例如，使用飞行时间相机)来捕获除图像之外和/或与图像互补的数字表示。

当捕获并显示头部的图像或其他数字表示时，头部的注视可能未指向观察者。例如，这可能是由于头部的注视未指向用于捕获数字表示(例如，图像)的感测系统(例如，相机系统)而引起的，例如因为其头部被成像的用户正在观察与相机系统相同的设备中的显示器，并且相机系统偏移到该显示器上方(或下方)。在该情况下，所显示的图像中的注视将被感知为向下(或向上)。人类视觉系统已经进化到在社交互动期间对注视的高度敏感性(使用从其他观察者的虹膜与白色巩膜的相对位置获取的提示)。感知注视中的误差是令人不安的。例如，在用于执行远程会议的系统中，感知注视中的误差可能在用户之间产生不自然的互动。

本公开涉及用于调整头部区域的数字表示(例如，图像)以校正感知注视和/或改善头部区域的计算机生成显示的其他方面的处理技术(例如，图像处理技术)。本公开具体地涉及以对计算机硬件和/或功率的最小需求来实现此类处理技术，使得所述技术以输入数据帧速率或用户反馈要求或接近输入数据帧速率或用户反馈要求来提供结果。

发明内容

根据本公开的第一方面，提供了一种生成用于调整头部区域的数字表示的参考数据的方法，该方法包括：接收包括以下各项的训练数据：一组输入补片，每个输入补片包括在头部区域的数字表示的调整之前的头部区域的数字表示的目标特征，其中针对每个输入补片，目标特征都是相同的；以及与输入补片一一对应的一组输出补片，每个输出补片包括在头部区域的数字表示的调整之后的头部区域的数字表示的目标特征；使用第一机器学习算法以使用所述训练数据来生成第一参考数据，所述第一参考数据包括用于针对所述头部区域的一系列可能数字表示来调整所述头部区域的所述数字表示的编辑指令；以及使用第二机器学习算法以使用与第一机器学习算法相同的训练数据以及由第一机器学习算法生成的第一参考数据来生成第二参考数据，第二参考数据包括用于针对头部区域的一系列可能数字表示来调整头部区域的数字表示的编辑指令。

所描述的两种机器学习算法的使用允许在调整过程的准确性和执行速度之间实现改善的平衡。第一机器学习算法可以被配置为提供高度详细的第一参考数据，从而提供高准确性。由于高度的细节，直接在处理技术(例如，图像处理技术)中使用该第一参考数据来调整头部区域的数字表示(例如，图像或三维几何表示)在计算资源方面将会相对昂贵。通过代替地安排将第一参考数据提供给第二机器学习算法(该第二机器学习算法基于第一参考数据和原始训练数据提供要用于对头部区域的数字表示的调整的参考数据(第二参考数据))，可以在一定程度上受益于第一机器学习算法的高准确性，同时还提供不太详细并且因此在执行对头部区域的数字表示的调整时更容易有效地进行处理的参考数据。与仅向第二机器学习算法提供训练数据时相比，发现在向第二机器学习算法提供第一参考数据和训练数据两者时，由第二机器学习算法提供的参考数据的质量显著改善。