[发明专利]一种基于二维对象和相关关系的三维布局预测方法及系统

权利要求书

1.一种基于二维对象和相关关系的三维布局预测方法，包括：

获取待预测静态图像，识别所述待预测静态图像中包含的多个二维对象；

创建与所述二维对象一一对应的特征向量，通过所述特征向量对各所述二维对象进行位姿预测，获取对应各所述二维对象的独立预测位姿；

基于所述多个二维对象选取至少一组对象组，并推断所述对象组中所包括二维对象间的相对位姿，获取每组所述对象组中各二维对象的相对预测位姿；

结合各所述二维对象的独立预测位姿和相对预测位姿推断各所述对象的三维姿态，输出所述待预测静态图像的三维布局图像。

2.根据权利要求1所述的方法，其特征在于，所述创建与所述二维对象一一对应的特征向量，通过所述特征向量对各所述二维对象进行位姿预测，获取对应各所述二维对象的独立预测位姿，包括：

对于所述待预测静态图像中的任意一个二维对象，基于预设卷积神经网络对所述待预测静态图像进行编码获取各所述二维对象的边界框，通过RoI池化层裁剪所述边界框以获取各所述二维对象的实体特征；

基于所述二维对象的实体特征创建与所述二维对象对应的特征向量，通过所述特征向量获取各所述二维对象的独立预测位姿。

3.根据权利要求2所述的方法，其特征在于，所述基于所述二维对象的实体特征创建与所述二维对象对应的特征向量，通过所述特征向量获取各所述二维对象的独立预测位姿，包括：

获取所述待预测静态图像的图像特征；

将每个所述二维对象的实体特征，连同所述待预测静态图像的图像特征一同创建与各所述二维对象一一对应的特征向量；

通过所述特征向量获取各所述二维对象的独立预测位姿。

4.根据权利要求1所述的方法，其特征在于，所述基于所述多个二维对象选取至少一组对象组，并推断所述对象组中所包括二维对象间的相对位姿，获取对象组中各二维对象的相对预测位姿，包括：

将关系值大于预设数值的二维对象进行组合，生成至少一组对象组，并推断各所述对象组中所包括的二维对象间的相对位姿；其中，所述相对位姿包括相对平移、相对比例和/或相对方向；

基于所述相对位姿输出每组所述对象组的成对向量，获取每组所述对象组中各二维对象的相对预测位姿；

其中，每组所述对象组中包括两个二维对象。

5.根据权利要求1所述的方法，其特征在于，所述结合各所述二维对象的独立预测位姿和相对预测位姿推断各所述对象的三维姿态，输出所述待预测静态图像的3D布局图像，包括：

针对每个所述二维对象，结合该二维对象的独立预测位姿和相对预测位姿，推理获得所述二维对象在所述待预测静态图像中的三维姿态和形状；

基于所有所述二维对象的三维姿态和形状，输出所述待预测静态图像的3D布局图像。

6.一种基于二维对象和相关关系的三维布局预测系统，包括：

对象识别模块，其配置成获取待预测静态图像，识别所述待预测静态图像中包含的多个二维对象；

对象独立位姿预测模块，其配置成创建与所述二维对象一一对应的特征向量，通过所述特征向量对各所述二维对象进行位姿预测，获取对应各所述二维对象的独立预测位姿；

对象相对位姿预测模块，其配置成基于所述多个二维对象选取至少一组对象组，并推断所述对象组中所包括二维对象间的相对位姿，获取每组所述对象组中各二维对象的相对预测位姿；

3D布局图像输出模块，其配置成结合各所述二维对象的独立预测位姿和相对预测位姿推断各所述对象的三维姿态，输出所述待预测静态图像的3D布局图像。

7.根据权利要求6所述的系统，其特征在于，所述对象独立位姿预测模块，还配置成：

对于所述待预测静态图像中的任意一个二维对象，基于预设卷积神经网络对所述待预测静态图像进行编码获取各所述二维对象的边界框，通过RoI池化层裁剪所述边界框以获取各所述二维对象的实体特征；

基于所述二维对象的实体特征创建与所述二维对象对应的特征向量，通过所述特征向量获取各所述二维对象的独立预测位姿。