[发明专利]一种基于图像的深度计算方法

权利要求书

1.一种基于图像的深度计算方法，其特征在于，包括如下步骤：

步骤一，使用视觉里程计获取图像位姿对；

步骤二，对当前帧进行四叉树划分；

步骤三，计算图像的匹配损失体；

步骤四，提取图像四叉树节点像素对应的损失构建次级匹配损失体，对次级匹配损失体执行动态置信传播算法进行优化；

步骤五，将优化后的匹配损失体放回原始匹配损失体中，在并行计算平台上对每个像素使用赢家通吃策略提取最小损失及其对应的采样深度值；

步骤六，去除噪声深度并平滑深度图；

所述步骤三的具体方法如下：

(1)计算当前帧坐标系与每个测量帧坐标系之间的相对位姿变换：

设置待计算深度图像为当前帧，设置时间维度上当前帧之前的m幅图像为测量帧，分别计算当前帧坐标系与各测量帧坐标系之间的相对位姿变换T_mci：

T_mci＝T_mwi×T_wc

其中，T_wc为当前帧坐标系相对于世界坐标系的位姿变换，T_mwi为世界坐标系到第i幅测量帧坐标系的位姿变换；

(2)并行计算当前帧每个像素在N个采样深度下，投影到第i幅测量帧上的像素坐标：

读取视觉里程计输出的最大深度和最小深度，设置为深度计算的最大深度和最小深度；计算最大逆深度和最小逆深度，在逆深度空间均匀采样，取N个采样点，则每个采样点对应的采样深度如下：

其中，z_j为第j次采样对应的采样深度，z_min为视觉里程计输出的最小深度，z_max为视觉里程计输出的最大深度；

当前帧像素点I_p在当前帧坐标系采样深度z_j对应的空间坐标P_pj为：

P_pj＝K^-1×I_p×z_j

其中，K为已知的单目相机的内参矩阵，I_p为图像上每个像素p的齐次坐标，均为已知；

当前帧像素点I_p在当采样深度z_j时投影到第i幅测量帧上的像素坐标I_qi(j)为：

其中，为空间坐标P_pj在测量帧坐标系下的深度值；

(3)并行计算当前帧上每个像素p在N个采样深度下与投影像素q的灰度值的绝对差，计算投影到多幅测量帧的绝对差并取平均值：

其中，C为成功投影次数，m为测量帧的总数；

(4)使用加权自适应窗口聚合匹配损失，在固定大小的窗口w×w内依窗口内投影像素q与中心像素p的曼哈顿距离md(p,q)和灰度值绝对差进行加权求和匹配损失：

其中，σ₁为自定义距离阈值，σ₂为自定义灰度阈值，T[]为条件函数，[]内的条件满足则为1，不满足则为0；

所述步骤六的具体方法如下：

使用动态置信传播方法计算出的深度来约束局部方法计算出的深度值，使用GPU并行处理每个像素，对非四叉树节点的深度降噪处理；

每个像素p的深度为d_p，像素p所在的四叉树节点处的深度为d_p0，像素p所在的四叉树块的尺寸大小为Size，计算提高信噪比后的深度

则像素p的新深度为

最后，使用边缘保留平滑方法对降噪后的深度图进行平滑处理。

2.根据权利要求1所述的一种基于图像的深度计算方法，其特征在于，所述步骤一的具体方法如下：

使用单目相机拍摄图像，运动的单目相机两两帧之间构成对极几何关系，在两幅图像上提取ORB特征点和描述子，并进行特征匹配；对匹配好的特征点利用对极几何约束使用最小化重投影误差求解相机运动，获取单通道灰度图和图像的位姿，以及最大深度和最小深度。