[发明专利]一种深度图像空洞的自动填充方法

权利要求书

1.一种深度图像空洞的自动填充方法，其特征在于，该方法包括以下具体步骤：

步骤1：将空洞分为平滑区空洞和非平滑区空洞

计算图像中任意像素与其周围邻域像素的结构相似性，再根据多尺度结构相似性，将图像中空洞分为平滑区域空洞和非平滑区域空洞；具体地：

利用公式(1)计算图像中任意空洞像素p与它的任意3×3邻域中的像素q_i(i＝1,2...8)的结构相似性SSIM(p,q_i)；其中p的3×3邻域记为B₁,q_i的3×3邻域记为B_i；

SSIM(p,q_i)＝[l(B₁,B_i)]^α·[c(B₁,B_i)]^β·[s(B₁,B_i)]^γ (1)

其中α，β，γ是预设的权重，设为α＝1，β＝1，γ＝1；l(B₁,B_i)是亮度比较函数,计算为：

c(B₁,B_i)是对比度比较函数,计算为：

s(B₁,B_i)是结构比较函数,计算为：

其中，和分别是B₁和B_i中所有像素灰度的平均值，和分别是B₁和B_i中所有像素灰度的方差,σ是B₁和B_i之间像素灰度的协方差；

其中C₁＝(K₁L)²,C₂＝(K₂L)²,K₁是常量0.01,K₂是常量0.02,L是常量255；

然后,计算多尺度结构相似性；具体地，利用B₁中各个像素的结构相似性计算p

点的多尺度结构相似性MSSIM_p：

其中N表示p点邻域彩色图像中像素的个数；

利用预设阈值ε，将空洞像素分为平滑区域空洞像素和非平滑区域空洞像素；若满足MSSIM_p>ε，那么p为平滑区空洞像素；若MSSIM<ε,那么p为非平滑区空洞像素；

步骤2：对于深度图像中任意平滑区空洞进行填充

首先，利用最短距离算法对所有像素的深度进行聚类；对于深度图像中任意两个非空洞像素X和Y,如果它们满足公式(6)，那么将它们聚为同一类；

|d_X-d_Y|＜T (6)

其中d_X表示像素X的深度值，d_Y表示像素Y的深度值，T表示两像素间深度差异的阈值；空洞像素p的深度F利用公式(7)计算；

E_i是邻 域像素q_i的深度,n表示p点邻域中有效像素的个数；

步骤3：对于深度图像中任意非平滑区空洞进行填充

对于非平滑区域空洞像素点的填充，利用p点的邻域B₁中邻 域像素q_i进行求解，求解公式如下：

其中表示邻 域像素q_i深度的梯度,w(p,q_i)代表权重项，其计算为：

w(p,q_i)＝w_d(p,q_i)w_c(p,q_i)w_m(p,q_i) (9)

其中w_d(p,q_i)，w_c(p,q_i)以及w_m(p,q_i)分别是距离权重项、颜色权重项和多尺度结构相似性权重项；它们的计算分别为：

其中符号||·||²表示2-范式；x表示p点的坐标，y表示q_i点的坐标；表示当前像素p与邻域像素q_i欧式距离的方差；表示像素p的邻域像素灰度的方差，是像素p的邻域像素多尺度结构相似性的方差；I_p和分别表示彩色图像中像素p和像素q_i的灰度值；表示q_i点的多尺度结构相似性。