[发明专利]基于目标检测和背景去除的三维模型实时重建方法及装置

说明书

本发明公开了一种基于目标检测和背景去除的三维模型实时重建方法及装置，所述方法包括以下步骤：S1、采集待建模物体颜色图像和深度图像，并根据时间戳进行对齐处理；S2、检测颜色图像和深度图像关键区域以及去除无关区域；S3、根据深度图像中的深度信息合成单帧点云，将多帧点云融合；S4、对融合之后的点云进行去噪处理，并将颜色信息并行渲染至点云中；S5、实时展示重建出的三维模型。本发明可以通过目标检测、背景去除等技术快速、准确地进行实时三维重建，解决目前三维重建方法建模速度慢、模型精度低的问题。

技术领域

本发明涉及人工智能和三维建模技术领域，具体涉及一种实时的基于目标检测和背景去除的三维模型实时重建方法及装置。

背景技术

随着三维重建技术的普及，越来越多的用户希望重建出对象(包括人体、物体等)的三维模型。目前三维重建主要通过人工建模的方式进行，这种方式需要投入较多的人力和较长的时间，重建出的模型质量参差不齐。近几年，使用深度相机进行自动三维建模的方法开始出现，但是现有的自动三维重建方法建模耗时较长，且重建出的模型含有较多噪点。因此如何对各种各样的物体进行快速、准确地三维重建是一个亟须解决的问题。现有的三维模型重建方案和实际效果举例如下：

(1)先使用各种测量仪器对需要三维建模的物体进行全面地测量，得到物体各个细节的长度等信息。然后人工使用3DS Max、Rhino、Blender等三维建模软件根据物体的测量信息进行建模(王大虎,高会争,陈侠.基于Quest3D的变电站仿真培训系统[J].中国电力,2016,49(9):62-65.)。这种方法的缺点在于：对于历史文物等造型复杂、细节丰富的物体，人工建模的难度非常大，且很难保证每个细节部分的比例、形状与原物体一致。

(2)使用RGB-D(深度相机)获取物体的深度信息，然后根据物体的深度信息计算出物体的点云，最后将各个观察角度得到的点云融合，从而完成三维模型的重建(李翔,李泽丰,李治江.基于Kinect的人体三维重建方法[J].计算机系统应用,2018,27(6):178-183.)。采用此方法的缺点在于：重建速度较慢，并且点云融合的过程中容易引入无关点云。

(3)先使用RGB-D相机获取物体深度信息之后进行初步三维建模，然后通过人工编辑的方式对重建出的三维模型进行微调(郑太雄,黄帅,李永福,等.基于视觉的三维重建关键技术研究综述[J].自动化学报,2020,46(4):631-652.)。这种方法可以保证重建出的三维模型没有噪点，但是整体流程仍须人工参与，智能化程度不高，效率依然有很大提升空间。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种基于目标检测和背景去除的三维模型实时重建方法及装置，解决目前主流三维重建方法无法快速、准确地进行实时三维重建的问题。本发明方法通过RGB-D相机从不同角度获取目标物体的颜色图像流和深度图像流，颜色图像和深度图像大小一致，根据相机提供的时间戳对颜色图像流和深度图像流进行对齐处理；使用已完成训练的目标检测神经网络模型从颜色图像中检测出物体所在区域，去除其余区域的颜色信息，并对应去除深度图像中无关区域的深度信息；使用物体每一帧的深度图像合成单帧物体点云，然后计算当前帧点云与前一帧点云之间的旋转偏移量，最后将当前点云旋转、平移后融合到三维模型点云中；根据三维模型点云中点附近的相邻点数量进行去噪处理，然后将颜色信息渲染到三维模型点云中，最后对三维模型点云进行表面网格化处理，生成完整的三维模型；实时展示重建出的三维模型。

本发明至少通过如下技术方案之一实现。

一种基于目标检测和背景去除的三维模型实时重建方法，包括以下步骤：

S1、采集待建模物体颜色图像和深度图像，并根据时间戳进行对齐处理；

S2、检测颜色图像和深度图像关键区域以及去除无关区域；

S3、根据深度图像中的深度信息合成单帧点云，将多帧点云融合；