[发明专利]未看见的人类姿态中的姿态合成

权利要求书

1.一种用于验证3D模型的装置，包括：

存储器，用于存储与在第一图像中表示的人相对应的姿态数据，其中所述第一图像与包括所述人的场景的第一视图相对应；以及

耦合到所述存储器的处理器，所述处理器用于：

至少利用所述第一图像为所述人生成第一身体部位图像，其中所述第一身体部位图像针对所述第一图像的像素标识可用的一组身体部位中的一个身体部位；

从所述第一视图中检测对所述人的表示的第一身体部位的身体部位遮挡；

识别与所述场景的第二视图相对应的第二图像，所述第二图像具有所述人的第一身体部位的第二表示；

将所述第一身体部位在所述第二图像中的第二表示投影到所述第一图像以生成合并图像；并且

至少基于所述姿态数据和目标姿态，将几何变换应用到所述合并图像以生成合成图像，所述合成图像包括处于所述目标姿态中的所述人的表示。

2.如权利要求1所述的装置，其中，所述处理器检测对所述第一身体部位的所述身体部位遮挡包括：所述处理器在所述第一身体部位图像中与所述第一身体部位相对应的第一身体部位区域上执行恒定表面检测，以检测所述第一身体部位区域包括非恒定图像表面。

3.如权利要求2所述的装置，其中，所述恒定表面检测包括纹理检测，并且对所述非恒定图像表面的检测包括：检测出所述第一身体部位区域的子区域之间的纹理变化超过阈值。

4.如权利要求2所述的装置，其中，所述恒定表面检测包括颜色检测，并且对所述非恒定图像表面的检测包括：对所述第一身体部位区域的子区域之间的颜色直方图变化的检测。

5.如权利要求2所述的装置，其中，所述恒定表面检测包括法向量变化检测，并且对所述非恒定图像表面的检测包括：对所述第一身体部位区域的子区域之间的平均法向量变化的检测。

6.如权利要求2所述的装置，其中，所述恒定表面检测包括边缘检测，并且对所述非恒定图像表面的检测包括：对所述第一身体部位区域中的一个或多个边缘的检测。

7.如权利要求1到6中任一项所述的装置，所述处理器还用于：

通过向与所述第一图像相对应的输入图像应用卷积神经网络以生成背景和前景遮罩，来对所述输入图像执行背景和前景分割，所述背景和前景遮罩包括针对所述输入图像的背景像素的第一值和针对所述输入图像的前景图像的第二值。

8.如权利要求7所述的装置，所述处理器还用于：

基于所述背景和前景遮罩，向至少所述输入图像的与图像前景相对应的一部分应用第二卷积神经网络，以生成所述姿态数据，其中所述姿态数据至少包括所述人的所述可用的一组身体部位的位置。

9.如权利要求7所述的装置，其中，所述处理器生成所述第一身体部位图像包括：所述处理器将所述图像前景的部分关联到所述可用的一组身体部位。

10.如权利要求1到9中任一项所述的装置，所述处理器还用于：

在所述合成图像的身体部位片段之间执行插补以合并所述身体部位片段，并且将所得到的最终姿态合并到背景中以生成最终合成图像；并且

将所述最终合成图像呈现给用户。