[发明专利]基于高光谱、真彩图与点云互补的室内重建方法及系统

说明书

基于高光谱、真彩图与点云互补的室内重建方法及系统，它涉及场景自适应、基于SVM的波谱识别、基于高光谱与真彩图的点云闭环矫正以及距离统计、贪婪三角形等方法。它解决了点云获取设备对材质、光照和热量等不敏感以及三维重建的全自动问题。本发明的步骤为：一、获取初始数据；二、根据高光谱数据识别出点云缺失的位置；三、三维点云信息的初步修正；四、根据真彩图矫正修补结果；五、点云的滤波、拼接自动化、点云的面片化及纹理映射。本发明利用高光谱与真彩图信息对点云进行修补，弥补了硬件的不足，使重建的质量获得提升，通过自适应处理及全自动化的实现，使得三维室内重建的稳定性和实用性也获得提升，应用前景越来越广阔。

技术领域

本发明应用于虚拟现实领域的室内三维重建，具体是采用高光谱信息、三维点云信息以及真彩RGB图像信息完成室内三维场景的高质量重建。

背景技术

三维重建技术是计算机图形学和计算机视觉的一个热门研究目标，大到地图的绘制，小至晶粒组织的重建，它既能帮助我们将生活中的场景和物体进行快速准确的数字化保存，又能便于科学研究，应用前景越来越广阔。

近年来，在室内三维重建方面，有基于2D图像的双目视觉三维重建，有基于3D深度信息的即时定位与地图构建（Simultaneous Localization And Mapping，SLAM）等。在市面上流行有很多采集深度信息的产品，但是由于玻璃等高反光材质的平面物体对光源不敏感，并且光源的反射与光照强度、热量分布有一定的关系，使获得的点云数据存在丢失现象，导致单依靠点云数据的室内三维重建效果不理想。而目前的常用方法是通过多角度多次采集的方式，将丢失数据进行部分修补，这样无疑会提高采集人员的专业性要求，并且高质量重建的自动化程度低，对于某些无法通过采集来增加细节的场景将无能为力。

由于高光谱分辨率遥感技术以及高光谱信息挖掘技术的发展，可以对光谱波形等特征进行处理和信息提取，最终挖掘数据特征，达到识别物体的目标。高光谱中存在大量的细节信息，但是高光谱数据目前主要用于大场景的物体识别，如果将高光谱用于室内小场景的物体识别，将可以方便的提取到成像光源对材质、光照和热量不敏感的位置，若该信息可以用于辅助三维重建，将会使重建的质量获得提升。

本发明，基于高光谱、真彩图与点云互补的室内三维重建系统，是一种综合高光谱、三维点云及真彩图数据的特征，利用高光谱数据进行点云修补，利用彩色RGB图像数据进行点云矫正，使得传统三维重建中出现的点云不完整问题得以解决，最终达到室内场景高质量重建的系统，并通过自适应的预处理参数使得整个重建过程全自动化。

发明内容

本发明的目的在于提出一种综合高光谱、三维点云及真彩图数据的室内三维重建技术，解决了传统三维重建时光源对材质、光照条件和热量等不敏感现象导致的点云缺失问题，提出了一种利用高光谱信息填补缺失点云，利用彩色图像数据矫正点云的方法，再结合其他滤波等技术，最终提高了三维重建的质量与稳定性，进一步提高了应用层次。

本发明的目的是通过以下技术方案实现的：首先，将世界坐标系定义为室内场景的中心点，以方便观察重建效果，并通过陀螺仪记录采集每一帧的点云及其对应的高光谱信息和彩色RGB信息时的位置和姿态；在进行三维重建之前，利用高光谱信息识别出成像光源对材质、光照和热量等不敏感的物体，从而对点云数据进行初步修补；并利用具有综合信息的彩色RGB数据对修补结果进行矫正，以获得高质量的待拼接点云；将陀螺仪获得的坐标系信息作为迭代最近点算法（Iterative Closest Point, ICP）配准的初始输入，实现点云的准确配准拼接；在配准过程中，采用一定的滤波和平滑处理，参数根据场景的大小自适应处理，以解决点云存在噪声以及累积数据量越来越大的问题，通过三角化与纹理映射操作，提高了重建场景的可视化效果，使得系统准确且高质量的完成室内场景的数字化重建及保存功能。

本发明的流程图如图1所示，共分为五个步骤，具体步骤如下：

步骤一：初始数据的获取。