[发明专利]一种深度图像空洞的自动填充方法

说明书

本发明公开了一种深度图像空洞的自动填充方法,该方法先将彩色图像作为输入,利用多尺度结构相似性，将深度图像中空洞的像素类型分为平滑区像素和非平滑区像素，对于平滑区像素，利用最短距离深度聚类结果，结合像素间的结构相似性，求解平滑区域像素点的深度值；对于非平滑区像素，为了突出边缘细节信息，采用带有权重项的一阶泰勒展开，估计非平滑区域像素的深度信息。本发明能够实现深度图像空洞的自动分类填充，并且填充后的深度图像具有保持边缘细节的特点，解决了Kinect设备采集中存在深度空洞问题，并能促进三维重建技术的研究及应用。

技术领域

本发明涉及深度图像空洞填充技术，从彩色图像的结构相似性出发，求解空洞像素点的多尺度结构相似性，将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素，并针对不同的空洞像素，采用不同的填充算法。在平滑区域空洞的填充过程中，利用最短距离聚类算法对深度图像的像素深度进行聚类，并将像素间的结构相似性作为权重，对空洞像素的深度进行求解；对于非平滑区域像素，利用一阶泰勒逼近算法，结合双边滤波权重项的设计，求解平滑区域空洞像素深度值。

背景技术

深度图像的出现为各类计算机视觉的应用开辟了新的道路，并在物体识别，三维重建等应用中发挥着重要的作用。近年来，深度图像的空洞填充备受关注，其目的是可以利用填补后的深度图像中的深度数据,为三维重建等过程提供有效的数据。由于深度图像的空洞含有很多重要的信息，提取这些信息，并将它们增强到三维重建的过程中，从而在重建过程中获取真实感细节，这样可以克服三维重建后部分细节信息丢失问题。目前深度图像的空洞填充技术的研究虽然取得了一些成果，但是如何充分利用深度图像对应的彩色图像增强空洞边缘细节信息，仍然是研究中亟待解决的关键问题。

发明内容

本发明的目的是提供一种深度图像空洞的自动填充方法，该方法能够实现空洞的有效填充，可以在空洞填充过程中增强空洞处物体边缘的细节，克服填充后物体边缘细节突出的问题。

本发明的目的是这样实现的：

一种深度图像空洞的自动填充方法，特点是：对Kinect设备采集的深度图像中存在的空洞进行自动填充，具体包括以下步骤：

步骤1：将空洞分为平滑区空洞和非平滑区空洞

为了将空洞分为平滑区域空洞和非平滑区域空洞,首先,计算图像中任意像素与其周围邻域像素的结构相似性，然后，再根据多尺度结构相似性，将图像中空洞分为平滑区域空洞和非平滑区域空洞。

具体地，利用公式(1)计算图像中任意空洞像素p与它的任意3×3邻域中的像素q_i(i＝1,2...8)的结构相似性SSIM(p,q_i)；其中p的3×3邻域记为B₁,q_i的3×3邻域记为B_i；

SSIM(p,q_i)＝[l(B₁,B_i)]^α·[c(B₁,B_i)]^β·[s(B₁,B_i)]^γ (1)

其中α，β，γ是预设的权重，设为α＝1，β＝1，γ＝1；l(B₁,B_i)是亮度比较函数,计算为：

c(B₁,B_i)是对比度比较函数,计算为：

s(B₁,B_i)是结构比较函数,计算为：