[发明专利]基于房间布局的全景新视角生成方法、装置、设备和介质

说明书

本申请提供的一种基于房间布局的全景新视角生成方法、装置、设备和介质，通过获取一原始全景图像Isubgt;s/subgt;，使用一卷积神经网络提取出原视角特征图Fsubgt;s/subgt;和深度图Dsubgt;s/subgt;；并使用另一卷积神经网络估计室内场景的房间布局Lsubgt;s/subgt;；指定该原始全景图像一新视角，利用深度图Dsubgt;s/subgt;计算新视角与原视角之间的像素对应关系，从而将原视角特征图Fsubgt;s/subgt;转换为新视角特征图Fsubgt;t/subgt;，以及将原视角下的房间布局Lsubgt;s/subgt;转换为新视角下的房间布局Lsubgt;t/subgt;；将新视角特征图Fsubgt;t/subgt;和新视角下的房间布局Lsubgt;t/subgt;在信道维度上进行连接，并输入到一个卷积神经网络中生成新视角图像Isubgt;t/subgt;。本申请可以实现全景新视角的生成，能够较好地保持房间布局结构，具有更好的图像质量，并且性能优于现有的方法。

技术领域

本发明涉及场景新视角生成技术领域，特别是涉及一种基于房间布局的全景新视角生成方法、装置、设备和介质。

背景技术

现有的新视角生成方法往往基于深度学习，并且可分为以下几类：第一类方法思路较为简单，它将新视角生成直接看作图像生成问题，训练神经网络使用常规的透视图像作为输入，直接输出新视角图像。而，由于透视图像视野范围的有限性，新视角的生成只能限制在一个相对较小的视角变化范围内，缺少原视角与新视角之间的关系，并在变化幅度很大时性能下降严重，这类方法效果较差。第二类方法则更进一步，首先使用神经网络估计出原视角与新视角之间的像素对应关系，例如外观流(appearance flow)等，然后使用该关系对原图像进行像素重新排列，从而间接完成新视角图像的生成，但是其仅有二维空间的对应关系，而缺少3D空间的关联关系。第三类方法则采用“建模——渲染”框架，首先使用输入图像显式地对场景进行建模，然后在新视角下渲染场景模型来生成图像，场景的建模可以使用光场、点云、深度分层图像、多平面图像等来实现。由于具备对场景进行建模的能力，这类方法的效果最好，也是目前研究的主流。

通常对一张室内场景的全景图像来生成该场景在新视角下的全景图像，需要将较大的视角变化考虑在内，当视角变化较大时，由于新视角中在原视角下不可见的区域较大，因此很难保证生成图像的质量。

为此，本申请则基于第三类方法来解决这一问题。

发明内容

鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于房间布局的全景新视角生成方法、装置、设备和介质，以解决现有全景新视角生成的问题。

为实现上述目的及其他相关目的，本申请提供一种基于房间布局的全景新视角生成方法，所述方法包括：获取一原始全景图像I_s，使用一卷积神经网络提取出原视角特征图F_s和深度图D_s；并使用另一卷积神经网络估计室内场景的房间布局L_s；指定该原始全景图像一新视角，利用深度图D_s计算新视角与原视角之间的像素对应关系，从而将原视角特征图F_s转换为新视角特征图F_t，以及将原视角下的房间布局L_s转换为新视角下的房间布局L_t；将新视角特征图F_t和新视角下的房间布局L_t在信道维度上进行连接，并输入到一个卷积神经网络中生成新视角图像I_t。