[发明专利]身体姿势估计

说明书

一种系统，包括存储程序的计算机可读存储介质和用于检测用户姿势的方法。该程序和方法包括：接收包括对用户的身体的描绘的单目图像；检测单目图像中描绘的身体的多个骨骼关节；以及基于所检测的身体的多个骨骼关节来确定单目图像中描绘的身体所表示的姿势。通过基于所检测的身体的多个骨骼关节调整化身的骨架的一组骨骼关节来修改化身的姿势，以匹配单目图像中描绘的身体所表示的姿势；以及生成具有与由单目图像中描绘的身体所表示的姿势相匹配的修改姿势的化身，以供显示。

优先权要求

本申请要求于2019年2月6日提交的申请号为16/269,312的美国专利申请的优先权，该申请的全部内容通过引用并入本文。

技术领域

本公开一般涉及基于描绘用户的图像生成虚拟对象。

背景技术

虚拟渲染系统可用于创建引人入胜且有趣的增强现实体验，在增强现实体验中，虚拟对象图形(例如化身)似乎存在于现实世界中。由于环境条件、用户动作、相机与正在渲染的对象之间的意外视觉中断等，此类系统可能会遇到呈现问题。这会导致虚拟对象消失或以其他方式表现不规则，从而打破虚拟对象存在于现实世界中的错觉。

附图说明

在不一定按比例绘制的附图中，相同的数字可以在不同的视图中描述相似的组件。为了容易地识别任何特定元素或行为的讨论，附图标记中的一个或多个最高有效数字是指首次引入该元素的附图编号。在附图的图中通过示例而非限制的方式示出了一些实施例，在附图中：

图1是示出根据示例实施例的用于在网络上交换数据(例如，消息和相关联的内容)的示例消息传递系统的框图。

图2是示出根据示例实施例的可以存储在消息传递服务器系统的数据库中的数据的示意图。

图3是示出根据示例实施例的由消息传递客户端应用生成的用于通信的消息的结构的示意图。

图4是示出根据示例实施例的示例身体姿势估计系统的框图。

图5是示出根据示例实施例的用于确定身体姿势的身体关节位置的图。

图6是示出根据示例实施例的身体姿势估计系统的示例操作的流程图。

图7A-8C是根据示例实施例的身体姿势估计系统的说明性输入和输出。

图9是根据示例实施例的说明代表性软件架构的框图，其可结合本文所述的各种硬件架构使用。

图10是示出根据一些示例性实施例的能够从机器可读介质(例如，机器可读存储介质)读取指令并执行本文中讨论的任何一种或多种方法的机器的组件的框图。

具体实施方式

以下描述包括体现本公开的说明性实施例的系统、方法、技术、指令序列和计算机器程序产品。在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供对各种实施例的理解。然而，对于本领域技术人员显而易见的是，也可以在没有这些具体细节的情况下实践实施例。通常，众所周知的指令实例、协议、结构和技术不必详细示出。

通常，虚拟现实(VR)和增强现实(AR)系统通过捕获用户的图像并另外使用在图像中描绘的现实世界人体的深度传感器获得深度图来显示代表给定用户的化身。通过一起处理深度图和图像，VR和AR系统可以模仿用户执行的动作。虽然这样的系统可以很好地呈现用户的化身，但对深度传感器的需求限制了它们的应用范围。这是因为向用户设备添加深度传感器以显示化身会增加设备的整体成本和复杂性，从而降低它们的吸引力。