[发明专利]利用运动数据和图像数据生成骨架模型的设备和方法

权利要求书

1.一种生成骨架模型的设备，该设备包括：

数据同步单元，分别对由图像传感器采集的用户的图像数据和由运动传感器采集的用户的运动数据执行同步；

剪影提取单元，从同步的图像数据提取用户的剪影；

关节信息计算单元，从同步的运动数据计算用户的关节的位置或取向；

骨架模型生成单元，利用所述剪影和用户的关节的位置或取向，生成用户的全身的三维骨架模型。

2.根据权利要求1所述的设备，其中，所述数据同步单元包括：

空间同步单元，对图像数据和运动数据的位置信息进行同步，以在相同的位置交叉参照在不同位置采集的图像数据和运动数据；

时间同步单元，对图像数据和运动数据的时间信息进行同步，以在相同的时间交叉参照在不同时间采集的图像数据和运动数据。

3.根据权利要求2所述的设备，其中，

空间同步单元通过基于预定的参考位置转换图像数据中的运动传感器的位置以及运动数据中的运动传感器的位置，来对图像数据和运动数据的位置信息进行同步；

时间同步单元利用数据插值来对运动数据和图像数据的时间信息进行同步。

4.根据权利要求1所述的设备，其中，

图像传感器包括关于用户采集深度图像数据的深度图像传感器或者关于用户采集颜色图像数据的颜色图像传感器；

当图像传感器是深度图像传感器时，剪影提取单元从深度图像数据提取用户的剪影，当图像传感器是颜色图像传感器时，剪影提取单元从颜色图像数据提取用户的剪影。

5.根据权利要求1所述的设备，其中，骨架模型生成单元基于所述剪影，从用户的关节的位置或取向来生成用户的全身的三维骨架模型。

6.根据权利要求5所述的设备，其中，骨架模型生成单元利用逆运动学，从运动数据中所包括的用户的关节的位置或取向来计算用户的剩余关节的至少一个解，并且当所述至少一个解是多个时，选择包括在剪影的范围内的最佳解。

7.根据权利要求1所述的设备，其中，骨架模型生成单元基于用户的关节的位置或取向，从所述剪影来生成用户的全身的三维骨架模型。

8.根据权利要求7所述的设备，其中，骨架模型生成单元利用从剪影提取的参考点，并且还利用运动数据中所包括的用户的关节的位置或取向，来确定包括在剪影的范围内的用户的剩余关节。

9.根据权利要求1所述的设备，其中，骨架模型生成单元利用从剪影提取的三维骨架模型和从用户的关节的位置或取向提取的三维骨架模型中的每一个的误差范围，来生成用户全身的三维骨架模型。

10.根据权利要求9所述的设备，其中，骨架模型生成单元将从剪影提取的三维骨架模型和从用户的关节的位置或取向提取的三维骨架模型中的每一个的误差范围结合，并选择具有最小误差的位置。

11.一种生成骨架模型的方法，该方法包括：

分别对由图像传感器采集的用户的图像数据和由运动传感器采集的用户的运动数据执行同步；

从同步的图像数据提取用户的剪影；

从同步的运动数据计算用户的关节的位置或取向；

利用所述剪影和用户的关节的位置或取向，生成用户的全身的三维骨架模型。

12.根据权利要求11所述的方法，其中，执行步骤包括：

对图像数据和运动数据的位置信息进行同步，以在相同的位置交叉参照在不同位置采集的图像数据和运动数据；

对图像数据和运动数据的时间信息进行同步，以在相同的时间交叉参照在不同时间采集的图像数据和运动数据。

13.根据权利要求12所述的方法，其中，对位置信息进行同步的步骤通过基于预定的参考位置转换图像数据中的运动传感器的位置以及运动数据中的运动传感器的位置，来对图像数据和运动数据的位置信息进行同步，对时间信息进行同步的步骤利用数据插值来对运动数据和图像数据的时间信息进行同步。

14.根据权利要求11所述的方法，其中，生成三维骨架模型的步骤基于所述剪影，从用户的关节的位置或取向来生成用户的全身的三维骨架模型。