[发明专利]一种改进的基于TOF相机三维重建的补空洞方法

权利要求书

1.一种改进的基于TOF相机三维重建的补空洞方法，其特征在于，包括以下步骤:

S1、首先对TOF相机进行标定，固定相机进行采集，TOF相机提供红外数据和深度数据，得到含有噪声的初始深度图；

S2、利用最小化二次能量函数对得到的初始深度图进行滤波、去噪、补空洞处理，从深度数据和红外数据之间的强相关性出发，定义滤波项和重建项的组合为能量函数，并将其最小化来恢复深度数据；

S3、将处理后的深度图转换为点云图；

S4、对得到的点云图进行去噪、补空洞处理；

所述步骤S2中滤波项的算法过程为:

为了去除高斯白噪声，通过最小化加权误差平方和得到加权平均滤波器：

其中，表示像素x_i处的期望深度值，D(x_j)表示观察到的深度值，w(x_i，x_j)表示权重，并且N_i是x_i的集合相邻像素，求解得到：

为了去除ToF深度数据中的噪声，将有效深度像素的多边过滤器权重定义为：

w(x_i，x_j)＝K_S(||x_i-x_j||)·(K_D(||D(x_i)-D(x_j)||)+ε)·(K_R(||R(x_i)-R(x_j)||)+ε

其中，K_S、K_D和K_R分别是空间权重、深度权重和红外权重的高斯核，Sigma值分别为h_S、h_D和h_R，引入的一个较小的ε值，它可以增强滤波脉冲噪声，如果中心像素具有无效的深度值，则将过滤器权重定义为：

w(x_i，x_j)＝K_S(||x_i-x_j||)·(K_R(||R(x_i)-R(x_j)||)+ε)

通过聚合所有像素并以二次矩阵的形式表示，将滤波项定义为：

其中，W是N×N多边权重矩阵，每个行值的总和归一化为1，D是深度值的N×1向量，其中N是深度图像中的像素数；

所述步骤S2中重建项的算法过程为：

采用一种结构引导的深度重建方法，具有Dirichlet边界条件的泊松方程为：

其中G_x和G_y分别是引导向量场的x和y分量，采用了上述方程的离散化形式的解用于重建项，给定深度梯度作为引导向量场，可以通过求解基于4个相邻像素的离散化形式来获得深度值：

通过将非孔像素处的深度值移到右侧在上式中加入边界条件，如果所有像素都在非空洞区域中，则重建项的作用类似于典型的数据项，通过聚合所有像素，方程式可以写成：

其中L表示N×N拉普拉斯矩阵，G表示深度梯度的散度的N×1向量，因此将二次矩阵形式的重构项定义为：

使用移动最小二乘(MLS)插值方法来获得孔洞区域内像素的梯度，MLS通过最小化每个像素的加权最小二乘来求解：

p和p_i分别表示目标像素和相邻像素的数据矢量，并且f_i是测量的深度梯度D_x(x，y)或D_y(x，y)，θ(p；p_i)是与p_i相关联的权重，并且p是通过使用对空洞区域附近的非空洞像素的k最近邻搜索而获得的像素索引集合，引入红外数据作为额外的结构信息，以防止不必要的内绘深度梯度平滑；

使用中的二次多项式函数f(p)作为近似函数：

f(x，y，r)＝c₀+c₁x+c₂y+c₃r+c₄x²+c₅xy+c₆y²+c₇xr+c₈yr+c₉r²

其中x和y是像素坐标，r是红外数据的梯度，为R_x(x，y)或R_y(x，y)，多项式函数可以写成：

f(p_i)＝b(p_i)^Tc(p)

其中b(P)＝[1，x，y，r，x²，xy，y²，xr，r，r²]^T是多项式基向量，c(P)＝[c₀，...，c₉]^T是系数向量，将双边加权函数定义为：

求解系数得到：

c(p)＝(BΘ(p)B^T)^-1BΘ(p)f

其中，B＝[b(p₁)，...，b(p_k)]，Θ(p)＝[θ(p；p₁)，...，θ(p；p_k)]，f＝[f₁，...，f_K]，K为Π中的像素数；

所述步骤2中最小化的算法过程为：

提出的二次能量函数可以写为：

当

时，能量函数得到最小化。