[发明专利]基于室内移动目标背景修复的三维重建方法

权利要求书

1.一种基于室内移动目标背景修复的三维重建方法，其特征在于，包括如下步骤：

(1)获取待重建的动态室内场景的RGB图像序列和深度图像序列：

利用深度相机对于待重建的动态室内场景进行N次连续拍摄，得到RGB图像序列I＝I₁,I₂,...I_i...,I_N和深度图像序列D＝D₁,D₂,...D_i...,D_N，I_i表示第i幅RGB图像，D_i表示I_i对应的深度图像，N＞50；

(2)获取每幅RGB图像I_i的目标区域：

(2a)采用基于Yolo深度神经网络目标特征提取与识别方法，按照拍摄的时间顺序将图像序列I中的每一幅RGB图像I_i逐幅输入到目标检测网络Yolo中进行检测，得到I_i的k个检测目标C_i1,C_i2,...C_ij...,C_ik，其中C_ij表示第i幅RGB图像I_i的第j个检测目标，C_ij＝x_ij,y_ij,w_ij,h_ij,s_ij,c_ij，(x_ij,y_ij)为C_ij的中心位置坐标，w_ij和h_ij分别为C_ij所在图像像素区域的宽和高，s_ij表示目标类别，c_ij表示s_ij的置信度；

(2b)对C_ij中以(x_ij,y_ij)为中心，以w_ij和h_ij分别为宽和高的矩形像素区域进行标注，得到C_ij的目标区域B_ij；

(3)对RGB图像序列I中相邻帧进行特征匹配：

(3a)采用FAST角点检测算法提取RGB图像I_i中的m个ORB特征点，并通过旋转不变性BRIEF描述子公式，计算每个ORB特征点的旋转不变性BRIEF描述子，m＞300；

(3b)计算I_i的每个旋转不变性BRIEF描述子与I_i+1的每个旋转不变性BRIEF描述子之间的汉明距离，并采用暴力匹配算法对I_i中的特征点与I_i+1中的特征点进行匹配，得到由v对匹配对组成的匹配对集合{(p_i1,p_i1′),..(p_iu,p_iu′),..(p_iv,p_iv′)}，其中，p_i＝{p_i1,..p_iu..p_iv}属于I_i经过匹配的ORB特征点集合，p_i′＝{p_i1′,..p_iu′,..p_iv′}属于I_i+1经过匹配的ORB特征点集合，0≤v≤m；

(4)计算拍摄I_i+1相对于拍摄I_i深度相机位姿变换的旋转矩阵和平移向量：

(4a)将p_i与对应的深度图像中的深度信息进行融合得到三维点集pd_i＝{pd_i1,..pd_iu..pd_iv}；同时将p_i′对应的深度图像中的深度信息融合得到三维点集pd_i′＝{pd_i1′,..pd_iu′..pd_iv′}；

(4b)计算pd_i和pd_i′的质心坐标C_i和C′_i，以及pd_iu和pd_iu′的去质心坐标q_iu和q_iu′并采用SVD降维算法，计算拍摄I_i+1相对于拍摄I_i深度相机位姿变换的旋转矩阵R_i：

(4c)计算拍摄I_i+1相对于拍摄I_i深度相机位姿变换的平移向量t_i：

t_i＝C_i-R_iC′_i；

(5)确定每幅RGB图像I_i中的移动目标所在区域：

(5a)计算I_i中每一个目标检测结果C_ij与I_i+1中的每一个目标检测结果C_(i+1)j′的目标匹配度：

f(C_ij,C_(i+1)j′)＝(x_ij-x_(i+1)j′)²+(y_ij-y_(i+1)j′)²+(w_ij-w_(i+1)j′)²+(c_ij-c_(i+1)j′)²s_ij＝s_(i+1)j′

当f(C_ij,C_(i+1)j′)＜0.5时则判定C_ij与C_(i+1)j′为同一目标；

(5b)将匹配好的目标检测结果C_ij与C_(i+1)j′分别对应的目标区域B_ij与B_(i+1)j′内的s对特征匹配点通过与对应的深度图像信息融合得到对应的三维点集记为：

{(td_i1,td_i1′),...(td_iw,td_iw′),...(td_is,td_is′)}0＜s＜m；

(5c)计算I_i与I_i+1之间的同一目标区域动态变化量A，并将A＞0.1时对应的B_ij标记为移动目标区域B_ij′，其中A的计算公式为：

(6)对每幅RGB图像I_i的移动目标区域B_ij′中的移动目标所遮挡的静态背景进行修复：

(6a)以步长L＝5，从RGB图像序列I中筛选当i＜N-25时I_i之后的5幅对比帧I_i+5,I_i+10,I_i+15,I_i+20,I_i+25，或筛选当N-25≤i≤N时I_i之前的5幅对比帧I_i-5,I_i-10,I_i-15,I_i-20,I_i-25；

(6b)计算I_i中的B_ij′中心坐标(x_ij,y_ij)′在5幅对比帧中分别对应的投影坐标(x_ij,y_ij)′_l，l＝1,2,3,4,5；

(6c)对B_ij′分别与5幅对比帧中以投影坐标(x_ij,y_ij)′_l为中心，宽和高与B_ij′相同的像素区域H_ijl进行ORB特征点提取与匹配，将B_ij′的像素值更新为匹配成功的特征点的点对数最少的区域H_ijl′的像素值，得到I_i经过背景修复的RGB图像I_i′；同时将B_ij′对应的深度图像区域的像素值更新为H_ijl′对应的深度图像区域的像素值，得到D_i经过背景修复的深度图像D_i′；

(7)获取三维重建结果：

对每幅经过背景修复的RGB图像I_i′与经过背景修复的每幅深度图像D_i′进行融合，得到N个三维空间点云Q₁,Q₂,...,Q_i,...,Q_N，并利用I_i相邻帧间的旋转矩阵R_i和平移向量t_i，对Q₁,Q₂,...,Q_i,...,Q_N进行迭代拼接，得到消除移动目标的全局三维点云Q：