[发明专利]一种基于二维对象和相关关系的三维布局预测方法及系统

说明书

本申请提供了一种基于二维对象和相关关系的三位布局预测方法及系统，在本申请提供的方法中，先获取待预测静态图像，识别静态图片中的多个二维对象，并创建与二维对象一一对应的特征向量，从而获取对应各所述二维对象的独立预测位姿，然后选取至少一组对象组，推断对象组中对象间的相对位姿，获取各二维对象的相对位姿预测，最后结合各二维对象的独立预测位姿和相对预测位姿推断各所述对象的三维姿态，输出待预测静态图像的三维布局图像。基于本申请提供的基于二维对象和相关关系的三维布局预测方法及系统，将一元预测和相对预测相结合，进一步的帮助预测每个对象的最终位姿估计，更精准的构造静态图片的三维布局。

技术领域

本申请涉及三维重建技术领域，特别是涉及一种基于二维对象和相关关系的三维布局预测方法及系统。

背景技术

一般来讲，人看到一张静态图像去理解它的3D结构是一件很容易的事，因为人有图像里面这些物体的先验知识以及结合生理和心理效应，例如水在地下，天空和白云在天上，大部分的墙壁是直立的平面，桌子是方的，树是长在地面的，而且上面有叶子，还有山水、植物、动物等等，当人看到它的一面时，可以联想到它的立体结构，这也是为什么人用一个眼睛也能“看到”三维(3 Dimensions，3D)世界的原因。但是，对于计算机来说，由于投射投影，3D场景投射到2D空间里面后，就会损失很多的信息。观测数据不足以约束问题的解，因此要利用先验知识或引入合适约束，因此，从单张图像去理解图像场景的3D结构就很困难了。

目前，基于单张图恢复3D场景的方法的方案中的共同特点是单个对象级别的推理，以对象为中心的方式作为一种表示是可取的，但是独立对单个对象推理来确定这种表示是不准确的，这样对确定场景内对象间的关系问题很有难度，无法准确的还原物体的3D结构。

发明内容

本申请的目的在于克服上述问题或者至少部分地解决或缓减解决上述问题。

根据本申请的一个方面，提供了一种基于二维对象和相关关系的三维布局预测方法，包括：

获取待预测静态图像，识别所述待预测静态图像中包含的多个二维对象；

创建与所述二维对象一一对应的特征向量，通过所述特征向量对各所述二维对象进行位姿预测，获取对应各所述二维对象的独立预测位姿；

基于所述多个二维对象选取至少一组对象组，并推断所述对象组中所包括二维对象间的相对位姿，获取每组所述对象组中各二维对象的相对预测位姿；

结合各所述二维对象的独立预测位姿和相对预测位姿推断各所述对象的三维姿态，输出所述待预测静态图像的三维布局图像。

可选地，所述创建与所述二维对象一一对应的特征向量，通过所述特征向量对各所述二维对象进行位姿预测，获取对应各所述二维对象的独立预测位姿，包括：

对于所述待预测静态图像中的任意一个二维对象，基于预设卷积神经网络对所述待预测静态图像进行编码获取各所述二维对象的边界框，通过RoI池化层裁剪所述边界框以获取各所述二维对象的实体特征；

基于所述二维对象的实体特征创建与所述二维对象对应的特征向量，通过所述特征向量获取各所述二维对象的独立预测位姿。

可选地，所述基于所述二维对象的实体特征创建与所述二维对象对应的特征向量，通过所述特征向量获取各所述二维对象的独立预测位姿，包括：

获取所述待预测静态图像的图像特征；

将每个所述二维对象的实体特征，连同所述待预测静态图像的图像特征一同创建与各所述二维对象一一对应的特征向量；

通过所述特征向量获取各所述二维对象的独立预测位姿。

可选地，所述基于所述多个二维对象选取至少一组对象组，并推断所述对象组中所包括二维对象间的相对位姿，获取对象组中各二维对象的相对预测位姿，包括：