[发明专利]用于插值不同输入的方法和系统

说明书

提供用于对不同输入进行插值的系统和方法。径向基函数神经网络(RBFNN)可以用于对数字角色的姿势进行插值。RBFNN的输入参数可以按数据类型(例如，角度相对于线性)来分离，并且可以通过特定于数据类型的距离函数(例如，使用角度距离函数用于角度输入数据)在RBFNN内进行操作。可以将权重应用于每个距离，以补偿表示不同变量(例如，锁骨相对于肩部)的输入数据。RBFNN的输出参数可以是一组独立值，其可以组合成组合值(例如，表示SO(3)空间中的x、y、z、w角度值)。

相关申请的交叉引用

本申请要求于2018年7月2日提交的题为“METHODS AND SYSTEMS FORINTERPOLATION OF DISPARATE INPUTS(用于插值不同输入的方法和系统)”的第62/693,237号美国专利申请的优先权，该申请通过引用整体并入在此。

技术领域

本公开涉及虚拟现实和增强现实，包括混合现实、成像和可视化系统，并且更具体地涉及用于使虚拟角色(诸如，化身或其他数字角色)动画化的装配(rigging)系统和方法。

背景技术

现代计算和显示技术已经促进了所谓的“虚拟现实”、“增强现实”和“混合现实”体验的系统的发展，其中数字再现的图像以一种它们似乎是或可能被感知是真实的方式呈现给用户。虚拟现实(VR)场景通常涉及计算机生成的虚拟图像信息的呈现，而不对其他实际现实世界的视觉输入透明。增强现实(AR)场景通常涉及虚拟图像信息的呈现，作为对于用户周围的实际世界的可视化的增强。混合现实(MR)是一种增强现实，其中物理和虚拟对象可以共存并实时交互。本文公开的系统和方法解决了与VR、AR和MR技术相关的各种挑战。

发明内容

执行各种姿势的主体的成像扫描可以用来创建对于该主体的栩栩如生的三维(3D)的虚拟表示(例如，化身或数字角色)。扫描通常是在主体执行训练姿势时进行的(例如，显示主体的不同的面部表情和/或动作的快照，诸如微笑、皱眉、眨眼、举起胳膊、走路等，其中每个姿势都由一组数字角色装配(rig)参数表示)。扫描可以用来使主体的虚拟化身动画化。虚拟化身只是数字角色的一个示例。这些术语可以在本公开中互换使用，但不应以任何方式限制本发明的范围。姿势的每个扫描都需要时间和精力来建立和捕获图像，并由数据表示。由于资源限制(例如，时间、人力、模型等)或数据存储限制，通常不可能捕获到数字角色可以执行的每个可能姿势。替代地，捕获表示整个姿势空间(例如，包含数字角色可以假设的所有可能的姿势的体积)的一组样本或训练的姿势，并使用插值来确定准确的角色姿势。

用于对数字角色的姿势进行插值的方法和系统的各种实施例可以基于对表示数字角色的姿势的线性参数和角度参数进行分离。在用于插值引擎的输入姿势数据被分离成线性参数和角度参数时，可以开始这种分离。在一些实施例中，当在插值引擎内，使用更适合于线性空间的处理(例如，数学操纵)来操纵线性参数，并且使用更适合于角度空间的处理来操纵角度参数时，分离继续。在一些实施例中，可以在插值引擎内应用权重，使得能够更精确地组合不同类型(例如，锁骨类型、肩部类型等)的数据。插值引擎可以输出表示线性值和角度值两者的多个独立参数。然后，角度值可以被组合，以完全表示姿势的唯一角度值，这可以用于使数字角色装配动画化。

该方法和系统的实施例可以使用径向基函数神经网络(RBFNN)来对数字角色的姿势进行插值。RBFNN的实现在由两者均独立的线性分量和3D角度组成的空间上使用多个距离度量，其中的线性分量服从于欧氏距离度量，其中的3D角度的距离在SO(3)中直接计算。线性距离和角度距离分开计算，然后利用一组权重组合为单个整体距离，然后将其用于插值。类似地，本文公开的RBFNN实施例利用了如下的一种方法来计算输出：将所有输出指定为独立的值，然后将角度值组合成一组完全定义的角度值。在各种实施例中，本文描述的方法和系统可以用于通过利用神经网络(诸如RBFNN、前馈神经网络(FFNN)、或任何其他合适的神经网络(NN))对包括不同类型的数据(例如，锁骨数据或肩部数据)的任何数据组进行插值。在一些实施例中，插值引擎的输出为使其可以容易地从编写引擎转移到实时引擎。