[发明专利]基于室内场景的对象和场景合成方法及系统

说明书

本发明提供一种基于室内场景的对象和场景合成方法及系统，包括：获得对象和场景原始图像；构建对象位置关系约束模型、对象尺度关系约束模型和对象遮挡关系约束模型；根据对象位置关系约束模型获得对象在场景中的可合成位置；根据对象尺度关系约束模型获得对象相对于场景的尺度比例；根据对象遮挡关系约束模型获得不同可合成位置的所述尺度比例的对象与场景中物体的不同的遮挡关系；将所述尺度比例的对象按照对应的遮挡关系在对应的可合成位置进行渲染，获得对应的对象和场景的合成图像。上述方法及系统引入场景理解，使合成图像更加真实。

技术领域

本申请涉及图像合成技术领域，更为具体地，涉及基于室内场景的对象和场景合成方法及系统。

背景技术

在图像合成的相关研究和技术中，目前主流的方法可分为基于剪切-粘贴方式的图像合成、基于渲染的图像合成和基于对抗学习的图像合成。其中，基于剪切-粘贴的方法较为直接，通过对场景图像的特征学习来选择待合成的物体并进行一定的增强，将其粘贴到目标背景之中，因此这类方法的图像合成过程具有一定的随机性。基于渲染的图像合成方法通常有较好的融合效果，但这类方法需要显式地重建背景图像的几何信息和光照信息。在基于对抗学习的图像合成方面，由于生成器的输入变量是随机的，这类方法往往不容易控制图像合成的过程。因此，目前的图像合成方法虽然能够从几何、外观等方面使得合成对象与场景图像自然融合，但是大都存在两个问题：(1)缺少对室内场景的布局估计工作，忽略了场景中可合成位置的概率分布，因此难以处理多种合成位置的情况；(2)忽略了合成对象的位置与尺度、遮挡之间的关系约束模型(不同的合成位置约束着合成对象的尺度大小和不同的遮挡关系)，因此合成人物与场景物体之间的遮挡关系较为单一。

发明内容

鉴于上述问题，本申请的目的是提供一种基于室内场景的对象和场景合成方法，将对象合成到场景中，包括：

获得对象和场景的原始图像；

构建对象位置关系约束模型、对象尺度关系约束模型和对象遮挡关系约束模型，所述对象位置关系约束模型用于约束对象在场景中的可合成位置，所述对象尺度关系约束模型用于约束对象相对于场景的尺度比例，所述对象遮挡关系约束模型用于约束对象与场景中的物体的遮挡关系；

根据对象位置关系约束模型获得对象在场景中的可合成位置；

根据对象尺度关系约束模型获得对象相对于场景的尺度比例；

根据对象遮挡关系约束模型获得不同可合成位置的所述尺度比例的对象与场景中物体的不同的遮挡关系；

将所述尺度比例的对象按照对应的遮挡关系在对应的可合成位置进行渲染，获得对应的对象和场景的合成图像；

其中，所述构建对象位置关系约束模型的步骤包括：

构建语义分割网络，所述语义分割网络的输入是场景的原始图像的RGB图像，输出是各像素点对应的语义标签，所述语义标签是场景中的物体对应的标签；

构建语义特征提取网络，设定场景的布局标签，将场景划分成对应的布局区域，所述布局标签包括图像场景、墙壁和地面的连接处，墙壁和墙壁的连接处以及墙壁和天花板的连接处，所述布局区域包括地面、墙面和天花板，所述语义特征提取网络的输入是语义标签，输出是布局标签；

构建场景布局估计网络，共享语义分割网络和语义特征提取网络的权重，获得各像素点对应的布局标签；

根据对象占位的合理性，限定对象在场景合成中的可合成位置，所述对象占位的合理性是指布局区域能够为对象提供合理的支撑。

优选地，包括：

构建对象风格关系约束模型，所述对象风格关系约束模型用于约束对象相对于场景的风格；

根据对象风格关系约束模型调整对象的原始图像的颜色风格，使得对象与场景自然融合；