[发明专利]基于室内场景的对象和场景合成方法及系统

权利要求书

1.一种基于室内场景的对象和场景合成方法，其中，将对象合成到场景中，包括：

获得对象和场景的原始图像；

构建对象位置关系约束模型、对象尺度关系约束模型和对象遮挡关系约束模型，所述对象位置关系约束模型用于约束对象在场景中的可合成位置，所述对象尺度关系约束模型用于约束对象相对于场景的尺度比例，所述对象遮挡关系约束模型用于约束对象与场景中的物体的遮挡关系；

根据对象位置关系约束模型获得对象在场景中的可合成位置；

根据对象尺度关系约束模型获得对象相对于场景的尺度比例；

根据对象遮挡关系约束模型获得不同可合成位置的所述尺度比例的对象与场景中物体的不同的遮挡关系；

将所述尺度比例的对象按照对应的遮挡关系在对应的可合成位置进行渲染，获得对应的对象和场景的合成图像；

其中，所述构建对象位置关系约束模型的步骤包括：

构建语义分割网络，所述语义分割网络的输入是场景的原始图像的RGB图像，输出是各像素点对应的语义标签，所述语义标签是场景中的物体对应的标签；

构建语义特征提取网络，设定场景的布局标签，将场景划分成对应的布局区域，所述布局标签包括图像场景、墙壁和地面的连接处，墙壁和墙壁的连接处以及墙壁和天花板的连接处，所述布局区域包括地面、墙面和天花板，所述语义特征提取网络的输入是语义标签，输出是布局标签；

构建场景布局估计网络，共享语义分割网络和语义特征提取网络的权重，获得各像素点对应的布局标签；

根据对象占位的合理性，限定对象在场景合成中的可合成位置，所述对象占位的合理性是指布局区域能够为对象提供合理的支撑。

2.根据权利要求1所述的对象和场景合成方法，其中，还包括：

构建对象风格关系约束模型，所述对象风格关系约束模型用于约束对象相对于场景的风格；

根据对象风格关系约束模型调整对象的原始图像的颜色风格，使得对象与场景自然融合；

将颜色风格调整后的对象按照所述尺度比例和遮挡关系在选定的可合成位置渲染，获得对象和场景的合成图像。

3.根据权利要求1所述的对象和场景合成方法，其中，所述构建对象位置关系约束模型的步骤还包括：

获得墙壁和地面的连接处及墙壁和天花板的连接处的布局标签对应的边缘节点，包括：将场景布局估计网络的布局输出图像的边缘像素展开为一维向量，将每个边缘区段的中间点像素，作为边缘节点；

获得墙壁和墙壁连接处的布局标签对应的中间节点，包括：利用霍夫变换检测墙壁与墙壁之间的竖直线段，线段的端点为中间节点；

连接边缘节点和中间节点，生成场景的布局结构图。

4.根据权利要求1所述的对象和场景合成方法，其中，所述构建对象尺度关系约束模型的步骤包括：对象的尺度大小以室内场景的墙高为参考，对象与墙壁之间的距离为自变量，对象的尺度为因变量，呈线性变化。

5.根据权利要求1所述的对象和场景合成方法，其中，所述构建遮挡关系约束模型的步骤包括：

对对象的可合成位置所在布局区域的物体进行掩码提取；

判断对象的可合成位置是否在物体像素之上；

如果可合成位置在物体像素之上，所述物体遮挡对象；

如果可合成位置不在物体像素之上，对象不受物体遮挡。

6.根据权利要求2所述的对象和场景合成方法，其中，所述构建对象风格关系约束模型的步骤包括：

调整对象的亮度和饱和度使得对象与场景风格兼容，包括：将对象和场景在色彩空间中建立图像直方图，通过移动对象的相应统计量的图像直方图，以约束对象与场景的图像直方图的亮度和饱和度的一致性最大；

调整对象的局部对比度和相关色温使得对象与场景风格兼容，包括：通过局部对比度和相关色温结合HSL通道，调整对象的外观，使得对象和场景图像风格兼容。