[发明专利]一种基于GAN网络的三维场景虚拟生成方法和系统

权利要求书

1.一种基于GAN网络的三维场景虚拟生成方法，其特征在于，包括：

获取二维场景图像，识别所述二维场景图像中所有物体的二维物体图像；

根据所述所有物体的二维物体图像，生成所述所有物体的三维空间位置关系；

查询选取与所述二维物体图像相匹配的三维物体模型；将所述二维物体图像分割为一定数量的像素块，所述三维物体模型分割为一定数量的模型块；利用GAN网络，建立所述像素块与所述模型块之间的匹配向量集合，具体包括：获取步骤：获取初始匹配向量集合，将所述初始匹配向量集合输入生成器G；调试步骤：所述生成器G对所述初始匹配向量集合进行调试，得到生成匹配向量集合；建立步骤：根据所述生成匹配向量集合，建立所述像素块与所述模型块之间的匹配关系；提取步骤：提取所述像素块的像素特征；渲染步骤：根据所述匹配关系，利用所述像素特征，对与所述像素块相匹配的模型块进行渲染，生成三维物体图像；判别步骤：将所述三维物体图像输入判别器D，对所述三维物体图像进行判别；如果判别结果为真，进行输出步骤；否则，进行调试步骤；输出步骤：输出所述生成匹配向量集合，得到匹配向量集合；

根据所述匹配向量集合，提取所述像素块的像素特征；

根据所述像素特征，对与所述像素块匹配的模型块进行渲染，生成三维物体图像；

根据所述三维空间位置关系，对所述三维物体图像进行整合，生成三维场景图像。

2.如权利要求1所述的方法，其特征在于，根据所述所有物体的二维物体图像，生成所述所有物体的三维空间位置关系，包括：

根据所述所有物体的二维物体图像，获取所述二维物体图像相互之间的遮挡关系与遮挡程度；

根据所述二维物体图像相互之间的遮挡关系与遮挡程度，生成所述所有物体的三维空间位置关系。

3.如权利要求1所述的方法，其特征在于，将所述二维物体图像分割为一定数量的像素块，所述三维物体模型分割为一定数量的模型块，分割方式可以为以下任意一种：

均匀大小分割、自适应分割、自动识别不同部位属性分割。

4.一种基于GAN网络的三维场景虚拟生成系统，其特征在于，包括：

识别模块，用于获取二维场景图像，识别所述二维场景图像中所有物体的二维物体图像；

位置关系生成模块，用于根据所述所有物体的二维物体图像，生成所述所有物体的三维空间位置关系；

三维物体图像生成模块，用于所述二维物体图像利用GAN网络，生成三维物体图像；

三维场景图像生成模块，用于根据所述三维空间位置关系，对所述三维物体图像进行整合，生成三维场景图像；其中，

所述三维物体图像生成模块，包括：

查询选取子模块，用于查询选取与所述二维物体图像相匹配的三维物体模型；

分割子模块，用于将所述二维物体图像分割为一定数量的像素块，所述三维物体模型分割为一定数量的模型块；

建立子模块，用于利用GAN网络，建立所述像素块与所述模型块之间的匹配向量集合；所述建立子模块具体包括：获取单元，用于获取初始匹配向量集合，将所述初始匹配向量集合输入生成器G；调试单元，用于所述生成器G对所述初始匹配向量集合进行调试，得到生成匹配向量集合；建立单元，用于根据所述生成匹配向量集合，建立所述像素块与所述模型块之间的匹配关系；提取单元，用于提取所述像素块的像素特征；渲染单元，用于根据所述匹配关系，利用所述像素特征，对与所述像素块相匹配的模型块进行渲染，生成三维物体图像；判别单元，用于将所述三维物体图像输入判别器D，对所述三维物体图像进行判别；如果判别结果为真，进行输出步骤；否则，进行调试步骤；输出单元，用于输出所述生成匹配向量集合，得到匹配向量集合；

提取子模块，用于根据所述匹配向量集合，提取所述像素块的像素特征；

渲染子模块，用于根据所述像素特征，对与所述像素块匹配的模型块进行渲染，生成三维物体图像。

5.如权利要求4所述的系统，其特征在于，所述位置关系生成模块，包括：

获取子模块，用于根据所述所有物体的二维物体图像，获取所述二维物体图像相互之间的遮挡关系与遮挡程度；

生成子模块，用于根据所述二维物体图像相互之间的遮挡关系与遮挡程度，生成所述所有物体的三维空间位置关系。

6.如权利要求4所述的系统，其特征在于，所述分割子模块中，分割方式可以为以下任意一种：

均匀大小分割、自适应分割、自动识别不同部位属性分割。