[发明专利]姿态变换数据处理方法、装置、计算机设备和存储介质

权利要求书

1.一种姿态变换数据处理方法，所述方法包括：

获取源图像和目标三维姿态；

结合所述源图像和目标三维姿态，基于语义分割重建得到三维分割体素，所述三维分割体素包括体素的类别信息；

将所述三维分割体素投影得到对应的目标姿态二维分割图，基于所述体素的类别信息对所述目标姿态二维分割图中的对象标注得到对应的部件类别；

获取所述目标三维姿态对应的目标二维姿态，提取所述源图像、目标姿态二维分割图和目标二维姿态的特征合成中间尺度的变换图像；

分别对所述源图像、三维分割体素、目标二维姿态和变换图像裁切得到对应于各个对象部件的部件层数据，所述对象部件是根据所述部件类别确定的；

分别对所述各个对象部件的部件层数据进行部件合成，生成各个对象部件对应的部件图像；

将所述变换图像和所述部件图像融合得到目标姿态图像。

2.根据权利要求1所述的方法，其特征在于，所述结合所述源图像和目标三维姿态，基于语义分割重建得到三维分割体素包括:

将所述源图像和目标三维姿态输入三维体素网络；

所述三维体素网络对所述源图像和目标三维姿态进行编码,得到编码结果,对所述编码结果提取特征并解码输出携带体素的类别信息的三维分割体素。

3.根据权利要求2所述的方法，其特征在于，所述三维体素网络对所述源图像和目标三维姿态进行编码,得到编码结果,对所述编码结果提取特征并解码输出携带体素的类别信息的三维分割体素包括：

对所述源图像进行编码并提取特征得到第一特征；

对所述目标三维姿态进行编码并提取特征得到第二特征；

将所述第一特征和第二特征合并得到合并特征，将所述合并特征输入堆叠沙漏网络，通过所述堆叠沙漏网络解码得到所述三维分割体素。

4.根据权利要求1所述的方法，其特征在于，所述提取所述源图像、目标姿态二维分割图和目标二维姿态的特征合成中间尺度的变换图像包括：

将所述源图像、目标姿态二维分割图和目标二维姿态合并形成输入矩阵；

将所述输入矩阵输入至中间尺度生成网络；

所述中间尺度生成网络依次通过下采样层、残差块层和上采样层对所述输入矩阵进行特征提取得到所述中间尺度的变换图像。

5.根据权利要求4所述的方法，其特征在于，所述中间尺度生成网络的训练包括以下步骤:

获取第一训练样本；所述第一训练样本包括源训练图像、目标姿态训练二维分割图、目标训练二维姿态和对应的标签变换图像；

将所述源训练图像、目标姿态训练二维分割图、目标训练二维姿态输入中间尺度生成网络，经过所述中间尺度生成网络所包括的各层依次处理后，输出对应的训练变换图像；

根据所述训练变换图像和所述标签变换图像的差异反向传播调整所述中间尺度生成网络的网络参数，以得到已训练的中间尺度生成网络。

6.根据权利要求5所述的方法，其特征在于，所述根据所述训练变换图像和所述标签变换图像的差异反向传播调整所述中间尺度生成网络的网络参数，以得到已训练的中间尺度生成网络包括：

通过预训练感知网络分别提取标签变换图像和训练变换图像的特征得到特征图，计算特征图之间的距离得到感知损失；

根据所述标签变换图像、源训练图像、训练变换图像对中间尺度生成网络和判别网络进行对抗学习，得到对抗损失；

通过判别网络中多个不同尺度的卷积层分别计算标签变换图像和训练变换图像在多个不同尺度的特征距离，统计所述多个不同尺度的特征距离得到特征匹配损失；

根据所述感知损失、对抗损失、特征匹配损失确定目标损失，根据所述目标损失反向传播调整所述中间尺度生成网络的网络参数，以得到已训练的中间尺度生成网络。