[发明专利]一种基于人工神经网络的实时场景布局识别及重建的方法

说明书

本发明公开了一种基于人工神经网络的实时场景布局识别及重建方。本发明用人工神经网络模型对输入序列进行处理，并通过寻找单帧之间的相关性，得到室内场景的布局识别后，在曼哈顿世界假设下，利用空间中一点在像素坐标系下存在唯一投影的原理，迭代优化，得到场景中每个平面的单位法向量和该平面到相机中心的距离，并在OpenGL下渲染平面。本发明利用人工神经网络，并寻找帧与帧间的联系，使得网络输出结果和三维重建结果更为精确；使用单目的RGB信息还原三维信息，减少硬件成本，同时利用每帧得到的布局信息，使用优化算法求解得到场景中每个平面的法向量和到相机中心距离。

技术领域

本发明属于计算机视觉、计算机图形学技术领域，特别地，本发明涉及一种基于人工神经网络的实时场景布局识别及重建方法。

背景技术

计算机视觉的终极目标是达到人眼和人脑对图像的理解能力，在信息爆炸的时代为人类分担图像信息相关的处理与分析工作，也使更多智能化设备能更好地完成更多的任务。

室内场景布局识别和三维重建是计算机视觉与计算机图像学领域中一个重要且基础的问题，可以为其他室内场景的任务提供强有力的先验条件，主要包括安防领域的行人检测、目标追踪、人脸识别等，互联网信息领域的图像内容检索，智能机器人领域的目标找寻、场景理解、障碍物检测等，给人类日常生活和工作的很多方面提供了便利，具有重要的理论研究意义和工程应用价值。在智能机器人领域，场景布局的识别和重建为机器人的定位起到重要作用；在增强现实中，虚拟物体要在镜头下实现较好地定位也需要对场景实现较好的感知。目前处理复杂室内场景的布局识别和三维重建仍存在较大问题，因此该问题具有极高的科研和应用价值。

在计算机视觉领域，对复杂室内场景进行较好的布局识别和三维重建一直是一个重要但具有挑战性的问题。因此，本发明中的方法利用人工神经网络模型对室内场景进行布局识别，克服传统方法在处理复杂场景时存在的不足，为三维重建提供较好的输入信息，使得重建后得到平面更为精确。

发明内容

本发明的目的是解决复杂室内场景下实时布局识别和平面三维重建的问题，其输入是一段视频帧序列，发明中的方法用人工神经网络模型对输入序列进行处理，并通过寻找单帧之间的相关性，提高网络判断的准确性，得到室内场景的布局识别(地面与墙面，天花板与墙面，墙面与墙面之间的交线)后，在曼哈顿世界假设下，利用空间中一点在像素坐标系下存在唯一投影的原理，迭代优化，得到场景中每个平面的单位法向量和该平面到相机中心的距离，并在OpenGL下渲染平面。该方法利用人工神经网络，并寻找帧与帧间的联系，使得网络输出结果和三维重建结果更为精确。

本发明提出的一种基于人工神经网络的实时场景布局识别及重建方法，其主要步骤如下所示：

步骤1.训练阶段；

训练分为三个阶段：

第一阶段：实现对室内场景的语义分割；

第二阶段：将第一阶段的输出结果用作训练数据，训练一个全连接层实现对室内场景布局的识别；

第三阶段：为整合前面两个阶段，并将继承得到的权值用于第三阶段的权值初始化，在第一、第二阶段得到模型的基础上进行模型的微调。

使用的网络根据卷积残差网络修改，搭建全卷积神经网络，在ground truth的监督下进行网络训练，得到可以对室内场景进行布局识别的模型；

步骤2.用步骤1中得到的模型对输入的视频帧序列进行处理，由于视频帧序列存在连续性，因此相邻帧之间的图像存在相关性，算法对单帧图像进行特征点检测，并对相邻帧的图像进行特征点匹配，用于得到每帧图像中的场景布局识别结果，添加帧与帧之间的图像特征点匹配可以使得得到的场景布局识别结果更为准确；

步骤3.基于相关约束对实时场景进行重建，相关约束条件如下：

I.相机光轴方向平行于地面；