[发明专利]一种基于深度图分割的图像背景估计方法

权利要求书

1.一种基于深度图分割的图像背景估计方法，其特征在于包括以下具体步骤：

(一)补全网络模型

采用预训练好的深度补全网络，以RGB图像作为指导对深度图像进行空洞填充，具体包括：

1-2-1：提取图像特征

用两个resnet-50网络分别提取RGB图像和深度图像的特征，每个网络先对图像进行卷积操作，之后包括4个残差块，其中，第一个残差块包括9个卷积网络；第二个残差块包括12个卷积网络；第三个残差块包括18卷积网络；第四个残差块包括9个卷积网络；然后将RGB图像和深度图像分别输入到两个网络中得到RGB图像特征及深度图像特征；

1-2-2：特征融合

采用对应元素相加的方式对上述两空间维度一样的RGB图像特征和深度图像特征进行融合；

1-2-3：深度解码

将上述融合后的特征作为深度解码器的输入，得到补全后的完整深度图，所述深度解码器由4个上采样模块组成，每个上采样模块由一层上采样层和卷积层构成；

1-2-4：损失函数构建

上述解码操作得到的预测深度图和人工标注的深度图y尺寸，以及对应像素点的深度值应该一致，所用的损失函数为下述b式表示的Berhu loss函数：

其中：即标注深度图与预测深度图的差值；i指的是同一批训练数据中每张图片的每一个像素点坐标；

(二)补全原始深度图像

利用上述预训练好的深度补全网络按下述步骤对原始深度图像进行深度补全：

(三)深度图全局统计

对深度补全后的深度图按下述步骤进行直方图统计，并将得到深度图的深度值统计直方图作为图像的深度图全局统计特征；

(四)计算分割阈值

构建一个用于通过深度图像计算自适应阈值的多层感知机，利用上述全局统计特征作为多层感知机的输入，预测两个自适应阈值；

(五)预测背景

利用上述求得的两个阈值计算背景图掩码，将掩码与原图像求交即可得到预测的背景部分。

2.根据权利要求1所述基于深度图分割的图像背景估计方法，其特征在于所述步骤(一)具体包括：

1-1：将NYU Depth V2数据集采集的彩色RGB图像、原始深度图像以及人工标注后的深度图像作为训练集和验证集，所述训练集和验证集按9∶1进行采集；所述人工标注即对深度图中的空洞进行填充；

1-2：定义以彩色RGB图像作为指导，对原始深度图像进行空洞填充的深度补全网络模型，所述深度补全网络模型是通过RGB编码器和深度编码器分别提取RGB图像和深度图像的特征，然后对两特征进行特征融合后输入到深度解码器中去预测补全后的完整深度图，利用求得的深度图和人工标注深度图构建损失函数；

1-3：根据上述的训练集对模型进行预训练并在验证集上进行验证，保存在验证集上取得最好结果时的训练模型参数。

3.根据权利要求1所述基于深度图分割的图像背景估计方法，其特征在于所述步骤(二)具体包括：

2-1：将最佳模型参数加载在深度补全网络模型上，利用深度摄像机拍摄的彩色RGB图像和对应的待填充的原始深度图像作为模型输入，其输出结果即为补全后的完整深度图。

4.根据权利要求1所述基于深度图分割的图像背景估计方法，其特征在于所述步骤(三)具体包括：

3-1：定义像素值范围为[0,L-1]的深度图像D的直方图是离散函数h_D(k)＝n_k，其中，n_k是图像中像素值为k的像素个数；

3-2：定义f_d(D)＝(h_D(0),h_D(1),…,h_D(L-1))为维度大小为L深度图像的全局统计特征向量，通过计数方法即可得到深度图像的直方图，从而得到深度图像的全局统计特征向量。