[发明专利]一种基于Kinect V2的实时三维重建方法与系统

摘要

一种基于Kinect V2的实时三维重建方法及系统，系统包括一个可定时的匀速步进电机电动旋转平台，固定在三脚架上的Kinect V2相机，以及计算机；本发明基于经典KinectFusion三维重建算法，并对深度图的滤波去噪进行改进，以提高重建质量；对ICP算法中的目标函数进行优化，增强系统的鲁棒性，同时在模型的融合算法中，加入RGB数据与点云模型进行拼接融合，对模型赋以颜色提高可视化视觉效果，最后利用投影映射算法获得一个更精确具体的三维点云模型。本系统使用GPU并行加速处理数据，使得重建速度达到每秒25帧左右，可实时、精确重建物体，能广泛应用于低成本的快速三维重建。最终将计算机处理的过程转换到ARM微处理器中，并加入wifi传输模块，集成得到一个简易的三维重建装置。

主权项

1.一种基于Kinect V2的实时三维重建方法，其特征在于，包括以下步骤：步骤1，深度数据和RGB数据获取：初始化参数，通过Kinect V2相机获取物体的深度数据和RGB彩色数据；步骤2，深度图滤波去噪：利用直通滤波器选择出视场内的物体，并利用所述深度数据进行该物体的三维重建；步骤3，RGB彩色图滤波处理：采用直通滤波器去除物体以外的背景和环境数据；步骤4，点对加权融合去噪优化：假设当前输入为第k帧数据流，统计利用前k‑1帧重建的物体模型的表面光滑程度，基于时间上的考虑，不直接在重建表面上进行统计，而是利用光线追踪法将已经构建好的表面重新投影到k‑1帧相机深度图上，以重投影的深度图中每个深度值(ui，vi，di)为窗口中心，选取窗口大小为winSize×winSize的窗口区域，计算此窗口区域中所有深度d分布的方差σ_i，设n＝winSize×winSize。其中，d_ij表示以d_i为中心的窗口中的相邻元素的深度值，μ为窗口中深度值的平均值；将所有的方差组成方差集合s＝{σ₁，σ₂，...，σ_k}，k是集合中方差的个数，每个深度值对应一个σ_i，计算此方差集合的平均值μ_s和平均方差σ_s；保留满足下述公式方差对应的深度值：μ‑t×σ＜σ＜σ+t×σ其中t为一个浮点数阈值；步骤5，相机标定：对相机进行标定，获得相机标定参数，用于将深度图转化为点云；步骤6，测量表面信息：根据深度数据和标定参数，计算获取表面顶点和顶点的法线信息；步骤7，相机位置的估计：根据对全局模型做光线投射得到的预测表面与新输入的测量表面进行点到平面的ICP算法，得到当前相机的位置；步骤8，改进目标函数：使用四元数方法来计算变换矩阵，并使目标函数最小化；步骤9，融合：整个物理场景利用一个全局三维体表示，每个体素单元包含一个距离值和一个权值，距离值采用截断符号函数(TSDF)表示空间某点与物体表面的距离，当TSDF值为0时表示物体表面，TSDF值为负表示物体内部，TSDF值为正表示物体到传感器之间的可见空间，当新一帧的测量数据产生时，根据相机位置估计将当前帧的数据TSDF值和权值加权融合到全局三维体中，得到点云模型，然后利用当前帧RGB数据和点云模型进行拼接，得到一个附有颜色信息的模型；步骤10，表面预测：根据前一帧相机的位置，投影全局的模型得到模型的前一帧位置的一个侧面；步骤11，建立最终三维模型：对全局模型使用移动立方体算法得到最终的三维网格模型。