[发明专利]一种图像语义和场景几何联合约束的室内VR场景构建的方法、装置、电子设备和介质

权利要求书

1.一种图像语义和场景几何联合约束的室内VR场景构建的方法，包括：

获得室内图像和拍摄所述室内图像时相机距离地面的高度；

对所述室内图像进行预处理；

将预处理后的所述室内图像输入至预先训练的深度残差网络中，输出所述室内图像的特征信息；

检测所述特征信息中直线的信息；

将所述直线的信息输入至卷积神经网络中，输出所述室内图像中墙体连接部分的信息，其中，所述墙体连接部分在所述室内图像中是墙体之间连接的直线；

基于所述相机距离地面的高度和所述墙体连接部分的信息，得到室内布局信息；

将所述特征信息输入至预先训练的目标检测网络中，输出所述室内图像中室内物体信息；

基于所述室内物体信息和所述墙体连接部分的信息，得到室内物体的位置信息；

根据所述室内布局信息和所述室内物体的位置信息来完成室内与虚拟现实交互场景的构建。

2.根据权利要求1所述的方法，其中，所述对室内图像进行预处理，包括：

将所述室内图像调整为预定分辨率。

3.根据权利要求1所述的方法，其中，所述检测所述特征信息中直线的信息，包括：

利用直线检测算法检测出所述特征信息中直线的位置，并将所述直线的位置信息储存下来。

4.根据权利要求3所述的方法，其中，所述将所述直线的信息输入至卷积神经网络中，输出所述室内图像中墙体连接部分的信息，包括：

将卷积神经网络作为判别器，对存储下来的所述直线的位置进行评分，通过评分得到墙体连接部分的直线。

5.根据权利要求1所述的方法，其中，所述将所述室内图像的特征信息输入至预先训练的目标检测网络中，输出所述室内图像中室内物体信息，包括：

使用目标检测网络对所述室内图像进行室内物体的检测，输出所述室内图像中所述室内物体的中心坐标、长度和宽度信息。

6.根据权利要求5所述的方法，其中，所述根据所述室内布局信息和所述室内物体的位置信息来完成室内与虚拟现实交互场景的构建，包括：

对所述室内图像进行裁剪；

通过所述卷积神经网络输出的所述墙体连接部分的信息，检测出所述墙体连接部分在室内图像中的位置坐标；

提取所述室内图像中室内物体的中心坐标；

通过所述墙体连接部分在所述室内图像中的位置坐标与所述室内物体的中心坐标的关系，得到室内物体的位置；

基于所述室内物体的位置和所述墙体连接部分的信息完成室内与虚拟现实交互场景的构建。

7.一种图像语义和场景几何联合约束的室内VR场景构建的装置，包括：

获取单元，被配置成获得室内图像和拍摄所述室内图像时相机距离地面的高度；

处理单元，被配置成对所述室内图像进行预处理；

第一输入输出单元，被配置成将预处理后的所述室内图像输入至预先训练的深度残差网络中，输出所述室内图像的特征信息；

检测单元，被配置成检测所述特征信息中直线的信息；

第二输入输出单元，被配置成将所述直线的信息输入至卷积神经网络中，输出所述室内图像中墙体连接部分的信息，其中，所述墙体连接部分在所述室内图像中是墙体之间连接的直线；

第一确定单元，被配置成基于所述相机距离地面的高度和所述墙体连接部分的信息，得到室内布局信息；

第三输入输出单元，被配置成将所述特征信息输入至预先训练的目标检测网络中，输出所述室内图像中室内物体信息；

第二确定单元，被配置成基于所述室内物体信息和所述墙体连接部分的信息，得到室内物体的位置信息；

第三确定单元，被配置成根据所述室内布局信息和所述室内物体的位置信息来完成室内与虚拟现实交互场景的构建。

8.一种电子设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

9.一种计算机可读介质，其上存储有计算机程序，其中，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。