[发明专利]用于3D手部骨架跟踪的方法和系统

说明书

本发明公开一种用于3D手部骨架跟踪的方法和系统。所述系统可包括处理器和耦合到所述处理器且存储指令的非暂时性计算机可读存储媒体，所述指令在由所述处理器执行时，使得所述系统执行一种方法。所述方法可包括训练检测模型和提取模型，捕捉物体的至少一部分的一个或多个图像，通过经训练检测模型检测所述一个或多个图像中的每一个中的所述物体的所述部分，实时跟踪所述物体的经检测部分，通过经训练提取模型获得所述物体的经跟踪部分上的一个或多个位置的2D定位，及至少部分基于获得的2D定位获得所述物体的所述经跟踪部分上的所述一个或多个位置的3D定位。

相关申请的交叉参考

此申请是基于2016年7月20日通过美国专利及商标局(United States Patentand Trademark Office)申请的美国临时申请第62/364,783号且要求所述申请的权益，所述申请特此以全文引用的方式并入。

技术领域

本公开大体上涉及用于计算机视觉的方法和系统，且更具体地说，涉及用于3D手部骨架跟踪的方法和系统。

背景技术

示意动作识别是3D计算机计算机视觉的最流行主题中的一个。通过示意动作识别，人类可以非语言方式与机器自然地通信及交互，而无需任何机械输入装置。因此，各种各样的应用程序已经通过示意动作识别技术实现及改进，所述示意动作识别技术例如动画制作和电影效果、交互式游戏、机器人控制、家电控制、医疗装置自动化、无人驾驶汽车控制等。示意动作通常包含手部、面部和/或其它身体部分的运动。由于人类一般使用手部表达情感、发出命令或执行其它类型的沟通，所以作为用于精确捕捉手部或手指定位、姿势和运动的方法的3D手部骨架跟踪恰好属于技术发展的前沿。为此，已经开发各种手部或手部骨架跟踪模型以实时模拟人类骨架。

发明内容

本公开的一个方面涉及一种跟踪系统。所述跟踪系统包括处理器和耦合到所述处理器的非暂时性计算机可读存储介质。非暂时性计算机可读存储介质可存储指令，所述指令在由处理器执行时，使得系统执行一种方法。所述方法可包括训练检测模型和提取模型，捕捉物体的至少一部分的一个或多个图像，通过经训练检测模型检测所述一个或多个图像中的每一个中的所述物体的所述部分，实时跟踪所述物体的经检测部分，通过经训练提取模型获得所述物体的经跟踪部分上的一个或多个位置的2D定位，及至少部分基于获得的2D定位获得所述物体的所述经跟踪部分上的所述一个或多个位置的3D定位。

本发明的另一方面涉及一种用于计算机视觉的方法。所述方法可包括训练检测模型和提取模型，捕捉物体的至少一部分的一个或多个图像，通过经训练检测模型检测所述一个或多个图像中的每一个中的所述物体的所述部分，实时跟踪所述物体的经检测部分，通过经训练提取模型获得所述物体的经跟踪部分上的一个或多个位置的2D定位，及至少部分基于获得的2D定位获得所述物体的所述经跟踪部分上的所述一个或多个位置的3D定位。

应理解，上述概括描述和以下详细描述仅是示例性及说明性的，且不是如所要求的限制本发明。

附图说明

构成此公开的部分、说明一些实施例且随实施方式一起的随附图式用于解释所公开的原理。

图1是说明符合本公开的示例性实施例的用于3D手部骨架跟踪的系统的框图。

图2是说明符合本公开的示例性实施例的用于3D手部骨架跟踪的方法的流程图。

图3A-3E是说明符合本公开的示例性实施例的用于3D手部骨架跟踪的系统100的各种训练方法的流程图。

图4是说明符合本公开的示例性实施例的步骤202-203的子步骤的流程图。

图5是说明符合本公开的示例性实施例的子步骤204a的图示。

图6是说明符合本公开的示例性实施例的一个视图中的子步骤204b的图示。