[发明专利]一种基于人工神经网络的实时场景布局识别及重建的方法

摘要

本发明公开了一种基于人工神经网络的实时场景布局识别及重建方。本发明用人工神经网络模型对输入序列进行处理，并通过寻找单帧之间的相关性，得到室内场景的布局识别后，在曼哈顿世界假设下，利用空间中一点在像素坐标系下存在唯一投影的原理，迭代优化，得到场景中每个平面的单位法向量和该平面到相机中心的距离，并在OpenGL下渲染平面。本发明利用人工神经网络，并寻找帧与帧间的联系，使得网络输出结果和三维重建结果更为精确；使用单目的RGB信息还原三维信息，减少硬件成本，同时利用每帧得到的布局信息，使用优化算法求解得到场景中每个平面的法向量和到相机中心距离。

主权项

1.一种基于人工神经网络的实时场景布局识别及重建方法，其特征在于：步骤1.训练阶段；训练分为三个阶段：第一阶段：实现对室内场景的语义分割；第二阶段：将第一阶段的输出结果用作训练数据，训练一个全连接层实现对室内场景布局的识别；第三阶段：为整合前面两个阶段，并将继承得到的权值用于第三阶段的权值初始化，在原有权值的基础上进行权值的微调；使用的网络根据卷积残差网络修改，搭建全卷积神经网络，在ground truth的监督下进行网络训练，得到可以对室内场景进行布局识别的模型；步骤2.用步骤1中得到的模型对输入的视频帧序列进行处理，由于视频帧序列存在连续性，因此相邻帧之间的图像存在相关性，对单帧图像进行特征点检测，并对相邻帧的图像进行特征点匹配，用于得到每帧图像中的场景布局识别结果；步骤3.基于相关约束对实时场景进行重建，相关约束条件如下：I.相机光轴方向平行于地面；II.拍摄的场景为曼哈顿世界，相邻平面两两垂直；III.该视频帧序列通过透视投影获得，使用具有固有矩阵K的拍摄设备；相机坐标系下Q和像素坐标系下q满足如下公式Qi＝λK‑1qi其中，K,q和Q分别如下平面法向量和平面到相机中心距离满足dp＝npQi＝npλK‑1qi；单帧图像得到布局识别结果后进行平面三维重建，利用曼哈顿世界相邻平面两两垂直，利用空间中一点在像素坐标系下存在唯一投影进行约束，优化得到单帧图像中平面的单位法向量和到相机中心距离，经OpenGL渲染后即为该帧图像对应的三维平面。