[发明专利]一种利用RGB图像还原3D场景的方法

权利要求书

1.一种利用RGB图像还原3D场景的方法,其特征在于：具体步骤为：

步骤S1:读入RGB图像；

步骤S2:在图像范围内进行物体检测，将检测到的物体利用矩形窗口进行标定；

步骤S3:检测到的图像进行实例分割，得到单个物体的蒙版；

步骤S4:利用深度学习模型来预测单个物体的三维形状，输入数据为单个物体的蒙版；

步骤S5:对图像中的每对儿物体间的相对关系进行回归预测；

步骤S6:利用预测得到的物体间的相对关系构建图；

步骤S7:进行全局图优化，得到最优的物体3维空间摆放方式；

步骤S8:得到三维场景；

所述步骤S2具体包括：利用深度学习模型在图像上进行特征提取，生产检测物体候选区域，检测物体窗口分类和窗口位置最优推定；

利用基于FasterR-CNN算法的检测方式；具体步骤为：特征提取，生产候选区域，窗口分类和精修；

所述步骤S4中利用VAE-GAN来预测单个物体的三维形状，输入数据为单个物体的蒙版；

所述步骤S6中对于两两检测物体的转换矩阵进行推断，并得到了无向图G(V，E)，其中V代表顶点，此处代表检测物体的集合，E为边的集合，此处代表检测物体之间的转换关系，若环境中出现两个以上物体，由于两两物体之间都包含推测的相对位置关系，这样由不同的检测物体递推到所有物体的摆放位置之间会产生信息误差，通过选择性的采用无向图G的边集以消除这种误差；对于每一个检测到的物体，步骤S2中的深度神经网络会输出一个置信度C，来表示这个被检测物体的可靠程度，并利用这个置信度对无向图边集进行筛选。

2.根据权利要求1所述的一种利用RGB图像还原3D场景的方法,其特征在于：

所述步骤S3具体包括：在所述步骤S2产生的物体候选区域内部进行特征上采样，利用双线性差值的方法得到的检测物体窗口内部像素级别的分类，将窗口内类别相同的像素统合为该检测物体的蒙版。

3.根据权利要求2所述的一种利用RGB图像还原3D场景的方法,其特征在于：S3步骤在窗口内进行像素级别的分类所用的算法为SVM。

4.根据权利要求1所述的一种利用RGB图像还原3D场景的方法,其特征在于：

所述步骤S4具体包括：输入由所述步骤S3得到的物体蒙版，利用变分自编码器将物体蒙版投影到潜在向量空间，利用生成对抗网络将潜在向量生成所对应的3维结构。

5.根据权利要求1所述的一种利用RGB图像还原3D场景的方法,其特征在于：

所述步骤S5中涉及到一种预测物体之间的相对关系的回归算法，使用3D转换矩阵表示两物体之间的平移以及旋转关系；利用深度学习算法和大数据训练来使模型逼近真实的物体之间相对关系的分布。

6.根据权利要求1所述的一种利用RGB图像还原3D场景的方法,其特征在于：获取G的方式为利用所述步骤S5分别推测两个物体间的转换矩阵。