[发明专利]基于目标检测和背景去除的三维模型实时重建方法及装置

权利要求书

1.一种基于目标检测和背景去除的三维模型实时重建方法，其特征在于，包括以下步骤：

S1、采集待建模物体颜色图像和深度图像，并根据时间戳进行对齐处理；

S2、检测颜色图像和深度图像关键区域以及去除无关区域，包括以下步骤：

1)、选择目标检测神经网络模型，使用与待重建物体同类型的物体图像对模型进行调整；

2)、使用训练后的目标检测神经网络模型从颜色图像中提取目标物体的所在区域，去除其余区域的颜色信息；

3)、根据颜色图像中目标物体所在区域的位置，对应去除深度图像中其余区域的深度信息，包括以下步骤：

31)、使用完成训练的目标检测神经网络模型从颜色图像中检测出目标物体所在区域target1；

32)、设整个颜色图像区域为total1，除物体所在区域外的区域记为无关区域useless1，则有：

total1＝target1∪useless1

useless1＝total1-target1

33)、深度图像中物体所在区域为：

target2＝total2-useless1

其中，target2为整个深度图像区域，total2为深度图像中目标物体所在区域；

34)、根据步骤33)，深度图像中的无关区域useless2为：

useless2＝total2-target2

35)、最后去除区域useless2的深度信息；

S3、根据深度图像中的深度信息合成单帧点云，将多帧点云融合，使用物体的一张深度图像中的信息生成单帧点云，具体包括以下步骤：

S1511、设深度阈值为distance，将深度图像中深度大于distance的点深度值置为0；

S1512、设深度图像中点的坐标为(u,v,d)，深度相机的内参矩阵为K，相机坐标系中点的坐标为P_camera：

根据深度相机内参的定义和几何关系有：

将上式整理有：

Z＝d

其中，u为点在深度图像中的横坐标，v为点在深度图像中纵坐标，d为点在深度图像(u,v)位置的深度值，X为点在相机坐标系中的横坐标，Y为点在相机坐标系中的纵坐标，Z为点在相机坐标系中的竖坐标，f_x为x轴方向焦距的长度，f_y为y轴方向焦距的长度，c_x、c_y为深度图像中原点的横、纵坐标；

S1513、设目标坐标系中点的坐标为P_target，得到P_camera后，再根据预先设定的相机坐标系与目标坐标系之间的旋转、偏移关系，将P_camera转换为P_target，具体为：

P_target＝RP_camera+T

其中，R为相机坐标系到目标坐标系的旋转矩阵，T为相机坐标系到目标坐标系的平移矩阵；

S1514、计算所有深度值不为0的点的P_target，得到该深度图像对应的单帧点云；

S4、对融合之后的点云进行去噪处理，并将颜色信息并行渲染至点云中，渲染过程包括以下步骤：

使用物体的一张深度图像中的信息生成单帧点云；

计算当前帧点云与前一帧点云之间的旋转偏移量，最后将当前点云旋转、平移后融合到三维模型点云中；

根据点云的点与颜色图像中点的对应关系，并行渲染颜色信息至点云，具体包括以下步骤：

去除一对颜色图像和深度图像的无关区域之后，将颜色图像和深度图像目标区域的每个像素点的信息一一对应存储到数据库database中；

设像素点的颜色信息为(R,G,B)，唯一标识符为ID，存在查找函数findColor，满足：

(R,G,B)＝findColor(database,ID)

在生成物体的三维模型点云之后，根据每个点的ID从database中找到对应的颜色信息，最后将其渲染到点云中，这个过程允许多个点同时进行；

S5、实时展示重建出的三维模型。