[发明专利]一种基于深度图分割的图像背景估计方法

说明书

本发明公开了一种基于深度图分割的图像背景估计方法，其特点是该方法利用预训练好的深度补全网络，以RGB图像作为指导对深度图像进行空洞填充；将直方图统计得到深度图像的全局统计特征作为多层感知机的输入，得到的两个自适应阈值，利用两个阈值计算背景图掩码，将掩码与原图像求交即可得到预测的背景部分。本发明与现有技术相比具有识别的准确度高，根据深度图统计特征求出分割所需的阈值，不需要手工为每幅图设定阈值，具有一定的便利性，降低了深度图像中不完整信息对分割结果的影响，较好解决了不完整深度信息背景识别和背景分割的难题。

技术领域

本发明涉及数字图像处理技术领域，具体的说是一种基于深度图分割的图像背景估计方法。

背景技术

随着计算机算力的大幅提升以及工业界对图像信号的智能化处理需求的增加，移除图像中的背景部分并提取关键目标信息成为图像处理中重要的预处理步骤。在一些交互式游戏、手势识别及人体检测与识别中，背景移除也起到了至关重要的作用，其会直接影响到识别检测的准确率。

目前，最常用的背景移除方法是基于颜色或灰度的背景减法，即将图像与提前拍摄好的背景图像做差，如果像素差值小于某个阈值，则判定该像素点为背景的一部分。直观上背景减法是将待处理图像与背景图像上颜色或灰度值相近的部分去掉。基于颜色或灰度的背景减法操作简单且识别速度快，但这种方法有以下几点问题：

如果前景部分区域与背景颜色相似，那么该方法会将这部分区域误当成背景删除，使得获取的图像存在许多空洞。另外，物体投射到背景的投影也会被该方法误认为是前景。当然，这些问题可以通过计算对强度变化不太敏感的颜色空间(如色调、对数颜色)的差来弱化这些问题，但结果与预期还是有很大差异。

和灰度图以及彩色图相比，深度图本身就具有易区分的前后层次关系，所以用深度图来进行背景估计相比灰度图和彩色图更具优势。但由于深度相机精度不高，拍摄出来的深度信息非常稀疏，深度图像可能会包含很多空洞，这对后续的背景分割操作带来诸多不便。因此，如何利用不完整的深度信息进行背景识别是本发明需要解决的关键问题。

发明内容

本发明的目的是针对现有技术的不足而设计的一种基于深度图分割的图像背景估计方法，采用彩色RGB图像和深度图像的特征融合，通过解码得到完整深度图像，以及多层感知机求出深度图像的自适应阈值，并利用该阈值对图像进行分割得到背景部分，大大降低了深度图像中不完整信息对分割结果的影响，方法简便，识别的准确度高，较好解决了不完整深度信息背景识别和背景分割的难题。

实现本发明目的的具体技术方案是：一种基于深度图分割的图像背景估计方法，其特点包括下述步骤：

(一)预训练深度补全网络模型

1-1：将NYU Depth V2数据集采集的彩色RGB图像、原始深度图像以及人工标注后的深度图像作为训练集和验证集，所述训练集和验证集按9:1进行采集；所述人工标注即对深度图中的空洞进行填充。

1-2：定义以彩色RGB图像作为指导，对原始深度图像进行空洞填充的深度补全网络模型，所述深度补全网络模型是通过RGB编码器和深度编码器分别提取RGB图像和深度图像的特征，然后对两特征进行特征融合后输入到深度解码器中去预测补全后的完整深度图，利用求得的深度图和人工标注深度图构建损失函数，具体操作包括如下步骤：

1-2-1：提取图像特征

用两个resnet-50网络分别提取RGB图像和深度图像的特征，每个网络先对图像进行卷积操作，之后包括4个残差块，其中，第一个残差块包括9个卷积网络；第二个残差块包括12个卷积网络；第三个残差块包括18卷积网络；第四个残差块包括9个卷积网络；然后将RGB图像和深度图像分别输入到两个网络中得到RGB图像特征及深度图像特征。

1-2-2：特征融合

采用对应元素相加的方式对上述两空间维度一样的RGB图像特征和深度图像特征进行融合。