[发明专利]三维场景重建方法及系统

说明书

本发明实施例提供一种三维场景重建方法及系统，该方法包括基于当前图像帧深度数据点的表面采样不确定度和深度数据点测量不确定度，得到当前图像帧中深度数据点总体不确定度；并基于该总体不确定度，对当前图像帧和已有场景子图第一图像帧进行对准变换求解，得到当前图像帧与第一图像帧之间的相机位姿变化值；若相机位姿变化值在设定阈值内，则融合当前图像帧与对应场景子图得到新的场景子图；融合所有场景子图得到三维场景图。本发明实施例提供的三维场景重建方法采用深度数据测量点处邻域内的数据分布，在线估计深度数据点不确定度，利用该不确定度引导不同图像帧之间深度数据整合，提高三维场景重建系统对低质量彩色‑深度数据噪声的鲁棒性。

技术领域

本发明涉及计算机视觉和计算机图形学技术领域，尤其涉及一种三维场景重建方法及系统。

背景技术

三维重建是指对三维物体建立适合计算机表示和处理的数学模型，是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全，因此三维重建需要利用经验知识。而多视图的三维重建相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图像 坐标系与世界坐标系的关系。然后利用多个二维图像 中的信息重建出三维信息。物体三维重建是CAGD(Computer Aided Geometric Design，计算机辅助几何设计)、计算机图形学、计算机动画、计算机视觉、医学图像处理、科学计算和虚拟现实、数字媒体创作等领域的共性科学问题和核心技术。

无论是物体的高精度三维重建还是场景的高精度三维重建均是混合现实应用和下一代机器人技术中的关键组成部分。而三维重建过程中一般会用到相机进行实景拍摄，尤其在三维场景重建时，消费级彩色-深度相机更是得到广泛应用，其为大量用户访问已扫描三维模型提供了很大便利，同时也带动了彩色-深度扫描和三维重建系统研究的再次兴起。但现有技术中的三维重建系统一般都是基于消费级彩色-深度传感器提供的数据流，采用立体栅格化的隐式场景几何表示方法，即 TSDF(Truncated Signed DistanceFunction，截断符号距离函数)，进行三维场景重建，这种场景表示方法对快速的相机位姿跟踪和帧数据融合很有帮助。

但是消费级传感器获取到的深度数据总是含有大量的噪声，大量噪声的输入会使得各个体素内融合出的几何细节出现模糊或过度平滑等缺陷。尤其在大型三维场景重建时，大量噪声的输入还会使得相机位姿跟踪的结果不可用，并恶化漂移误差，降低系统的鲁棒性。

发明内容

针对背景技术中现有技术存在的缺陷，本发明提供了一种三维场景重建方法及系统。

第一方面，本发明提供的一种三维场景重建方法，该方法包括：

逐帧读取相机捕获到的图像帧，基于当前图像帧中每个深度数据点的表面采样不确定度和每个所述深度数据点的测量不确定度，得到所述当前图像帧中每个所述深度数据点的总体不确定度；

基于所述当前图像帧中每个所述深度数据点的所述总体不确定度，对所述当前图像帧和已有的场景子图的第一图像帧进行对准变换求解，得到所述当前图像帧与所述场景子图的第一图像帧之间的相机位姿变化值；

若所述相机位姿变化值在设定阈值内，则将所述当前图像帧与对应场景子图进行深度数据点融合，得到融合后的场景子图；

将所有场景子图进行融合，得到重建后的三维场景图。

第二方面，本发明提供的一种三维场景重建系统，该系统包括：

第一处理模块，用于逐帧读取相机捕获到的图像帧，基于当前图像帧中每个深度数据点的表面采样不确定度和每个所述深度数据点的测量不确定度，得到所述当前图像帧中每个所述深度数据点的总体不确定度；