[发明专利]用于估计对象的姿势和姿态信息的系统和方法

权利要求书

1.一种用于估计对象的姿势和姿态信息的系统，所述系统包括：

移动捕获设备，所述移动捕获设备用于连续捕获位于虚拟空间内或在虚拟空间内自由移动的所述对象的图像和/或视频数据；

一个或多个处理单元，所述一个或多个处理单元用于从所述移动捕获设备获得所述图像和/或视频数据，并执行用于所述图像和/或视频数据的自动化处理的一个或多个机器学习算法，以：

提取和学习所述对象的基本卷积特征，以基于学习到的基本卷积特征来识别所述对象的具体特征；所述具体特征是所述对象的身体部位；所述基本卷积特征包括：基本特征，所述基本特征包括所述对象在所述虚拟空间中的点、线和圆；或者是平面区块或复合特征；并且其中，身体部位选自鼻部、颈部、右肩部、右肘部、右腕部、左肩部、左肘部、左腕部、右臀部、右膝盖、右脚踝、左臀部、左膝盖、左脚踝或腹股沟；

基于所述对象的具体特征来估计所述对象的姿势，其中，估计所述对象的姿势包括根据所述对象的给定图像来估计身体部位信息，并且其中，所述姿势包括：身体部位类型、关于所述给定图像上的位置的x轴和y轴坐标；

基于所估计的姿势，生成所述对象的所述具体特征的抽象人体模型；并且

根据所述抽象人体模型中包括的所述具体特征，估计所述对象的姿态；

其中，生成所述对象的所述抽象人体模型包括：

将每个身体部位与预定义的抽象身体部位耦合；

基于所耦合的身体部位，增补所述对象的多个缺失的单个身体部位和耦合身体部位；并且

通过将所增补的缺失部位与所耦合的身体部位连接，构建表示所述对象的估计姿态的所述对象的骨架表示；并且

其中，所捕获的视频数据是无约束视频数据，并且所述视频数据包括多个帧；并且

其中，所述抽象人体模型包括每个身体部位的信息，连同每个帧中身体部位之间的空间约束，以及贯穿多个帧的时间一致性。

2.根据权利要求1所述的系统，其中，提取所述基本卷积特征是实时执行的，并且其中，对记录的视频序列和/或实况视频序列执行所述基本卷积特征的提取，并且其中，所述一个或多个处理单元实施包括深度卷积神经网络的一个或多个机器学习算法以提取所述基本卷积特征。

3.根据权利要求2所述的系统，其中，捕获的视频数据是不受约束的，其中，所述视频数据是作为基线的RGB图像，并且与包括深度图像或热图像或磁图像或超声图像、惯性图像的一个或多个图像追踪维度相组合。

4.根据权利要求1所述的系统，其中，所述移动捕获设备是具有至少一个数码相机的移动终端，并且所述一个或多个处理单元包括在执行用于所述图像和/或视频数据的自动化处理的所述一个或多个机器学习算法的移动捕获设备中。

5.根据权利要求4所述的系统，还包括与所述移动捕获设备连接的远程计算设备，并且其中，所述远程计算设备包括一个或多个处理单元，并且其中，所述图像和/或视频数据的所述自动化处理部分地在所述移动捕获设备中包括的一个或多个处理单元中执行，部分地在所述远程计算设备中包括的一个或多个处理单元中执行。

6.根据权利要求1所述的系统，其中，所估计的姿势包括所述对象的位置与定向的结合，并且其中，所估计的姿势还包括关于所述对象在给定图像上的位置的z轴坐标。

7.根据权利要求1所述的系统，其中，所述多个缺失的单个身体部位和耦合身体部位的所述增补还包括分析特定身体部位的先前位置和/或预设自由度，所述自由度是指刚性体在三维空间中运动的自由度。

8.根据权利要求1所述的系统，其中，所述一个或多个处理单元还实施一个或多个机器学习算法，以编译包括在所述对象的所述骨架表示中的姿势信息，以形成所述骨架表示的2D表示。

9.根据权利要求8所述的系统，其中，所述一个或多个处理单元还实施一个或多个机器学习算法，以通过下述来分析所述估计姿态的所述骨架表示：生成包括关节角度在内的复杂解析特征进行度量比较，以指示所述对象在所述虚拟空间中移动时的特定估计姿态的阶段。