[发明专利]一种基于GAN网络的三维场景虚拟生成方法和系统

说明书

本发明公开了一种基于GAN网络的三维场景虚拟生成方法和系统，该方法包括：获取二维场景图像，识别所述二维场景图像中所有物体的二维物体图像；根据所述所有物体的二维物体图像，生成所述所有物体的三维空间位置关系；所述二维物体图像利用GAN网络，生成三维物体图像；根据所述三维空间位置关系，对所述三维物体图像进行整合，生成三维场景图像。该方法利用GAN网络，将二维场景图像虚拟生成三维场景图像，大大减少了计算量，降低了计算过程中的错误率，提高了匹配率，优化了三维场景图像的仿真视觉效果。提高了用户体验。

技术领域

本发明涉及领域，具体是一种基于GAN网络的三维场景虚拟生成方法和系统。

背景技术

随着虚拟现实(VR)、增强现实(AR)、裸眼3D等三维场景显示技术的发展，在智慧建筑、智慧旅游、智慧安保、智慧公安、智慧消防等很多的应用当中，希望能够获得并展示出三维场景图像，从而取得更好的仿真视觉效果。

但是，目前支持直接采集和生成三维场景图像的设备并不常见，大多数图像采集设备——例如手机、相机、摄像头所生成的是二维场景图像。另外以上应用一般涉及到网络传输，如果通过网络传输三维场景图像，由于数据量大，会导致通信负荷重、延迟大。因此，需要能够有一种三维场景虚拟生成方法和系统，能够从采集的二维场景图像虚拟生成三维场景图像。

目前，从二维物体图像虚拟生成三维物体图像的方式是从三维模型库当中，查询选取与二维物体图像适配的三维物体模型(例如二维图像是一个人体，则查询选取人体三维模型；二维图像是一部汽车，则查询选取汽车三维模型)；进而，将二维物体图像分割为一定数量的像素块，将三维物体模型分割为一定数量的模型块；建立每个像素块与对应的模型块之间的匹配向量集合，该匹配向量集合是一个稠密的向量集(例如，我们将人体的二维图像分割为10000个像素块，将对应的人体三维模型分割为10000个模型块；假设其中第i个像素块与第n个模型块之间具有匹配关系，即二者均对应于人体的同一个部位的置信度大于阈值，则建立从该第i个像素块到第n个模型块的一个匹配向量；由此，对于全部像素块和模型块之间的匹配关系，则可以建立一个匹配向量集合，该集合包含稠密的匹配向量)。进而，利用匹配向量集合，提取像素块的像素特征，再利用该像素特征对与该像素块匹配的模型块进行渲染；从而，通过完成对三维物体模型的全部模型块的渲染，使得三维物体模型转化为由二维物体图像生成的三维物体图像。

但是，以上现有的方式只是从二维物体图像到三维物体图像的虚拟生成，并不是二维场景图像到三维场景图像的虚拟生成(一个场景中可能包含多个物体，且二维场景图像中物体之间存在遮挡关系)。而且，更重要的是，现有方式中匹配向量集合的建立是一个非常复杂、错误率很高的过程，一般需要对像素块中每个图像像素的像素级特征进行识别，进而对每个模型块中的模型像素的像素级特征进行识别，对像素级特征进行匹配运算和置信度统计，才能够判断一个像素块和一个模型块之间的是否具有匹配关系从而可以建立匹配向量，加之匹配向量集合包含稠密的匹配向量，因此整个过程的计算量非常浩大，容错性低，一些局部的匹配错误就会导致失败。

因此，如何进行二维场景图像到三维场景图像的虚拟生成，并且减少计算量、提高匹配率是本领域技术人员亟待解决的问题。

发明内容

鉴于上述问题，本发明的目的是为了解决现有技术中只能将二维场景中的局部图像虚拟生成三维图像，计算量大、容错性低，整体图像匹配率低的问题。

本发明实施例提供一种基于GAN网络的三维场景虚拟生成方法，包括：

获取二维场景图像，识别所述二维场景图像中所有物体的二维物体图像；

根据所述所有物体的二维物体图像，生成所述所有物体的三维空间位置关系；

所述二维物体图像利用GAN网络，生成三维物体图像；

根据所述三维空间位置关系，对所述三维物体图像进行整合，生成三维场景图像。