[发明专利]一种基于生成对抗网络的三维语义场景重建方法

权利要求书

1.一种基于生成对抗网络的三维语义场景重建方法，其特征在于，包括以下步骤：

获取SUNCG-RGBD数据集，并对SUNCG-RGBD数据集进行降采样生成降采样数据集；

对降采样数据集进行编码，生成深度图编码数据、RGB图像编码数据以及体素真值编码数据；

根据深度图编码数据、RGB图像编码数据以及体素真值编码数据，生成生成器G、场景鉴别器D_voxel以及编码鉴别器D_encode；

根据生成器G、场景鉴别器D_voxel以及编码鉴别器D_encode构建生成模型损失函数l_gen、场景鉴别模型损失函数l_dis-v以及编码鉴别模型损失函数l_dis-e；

根据生成模型损失函数、场景鉴别模型损失函数以及编码鉴别模型损失函数，构建目标函数L(G),

根据目标函数L(G)，在SUNCG-RGBD数据集中选取数据进行训练与测试，并将结果进行算数平均；

在所述对降采样数据集进行编码，生成深度图编码数据、RGB图像编码数据以及体素真值编码数据的步骤中，包括：

通过2D-CNN对所述采样数据集中的RGBD图像数据进行语义分割，所述语义分割在Resnet50的基础上进行微调，将最后的softmax层替换为全连接层，最终输出一个1200维的张量，重塑该张量，得到5*3*5*16的3D特征向量；

通过编码器对所述采样数据集中的体素真值进行编码，生成的所有层均为3D卷积层，卷积核为3*3*3，步幅为2*2*2，最终输出一个1200维的张量，重塑该张量，得到5*3*5*16的3D特征向量；

所述场景鉴别器D_voxel最后一层通过用softmax层替代reshape层从而输出一个二进制值，用于确定预测的体积数据是否属于预期的体积值；

所述编码鉴别器通过reshape层将5*3*5*16的3D特征向量重塑为1200维的特征向量，其后由3个全连接层构成其输出维度分别为256、128、1，最后通过softmax层输出预测结果；

l_dis-v＝-log(D_voxel(t))-log(1-D_voxel(y))

l_dis-e＝-log(D_encode(t_voxel))-log(1-D_encode(y_depth))-log(1-D_encode(y_RGB))

其中，y＝G(x,t)，y为预测值，t为体素真值。

2.根据权利要求1所述的基于生成对抗网络的三维语义场景重建方法,其特征在于，所述SUNCG-RGBD数据集包括带有稠密对象标签的三维场景RGBD图像数据以及固定相机姿态所拍摄的RGBD图像数据。

3.根据权利要求1所述的基于生成对抗网络的三维语义场景重建方法,其特征在于，在所述获取SUNCG-RGBD数据集，并对SUNCG-RGBD数据集进行降采样生成降采样数据集的步骤中，包括：

对SUNCG-RGBD数据集中像素为640*480的RGBD图像数据进行降采样，获得像素为320*240的降采样数据集。

4.根据权利要求1所述的基于生成对抗网络的三维语义场景重建方法,其特征在于，在根据目标函数L(G)，在SUNCG-RGBD数据集中选取数据进行训练与测试，并将结果进行算数平均的步骤中，包括：

将SUNCG-RGBD数据集等分为20份，每次训练前从这20份数据子集中随机选取4份数据子集作为测试集，剩余的16份数据子集作为训练集，并进行10次训练，将10次训练的结果进行算术平均，得到最终值。