[发明专利]适于低景深图像的语义对象分割方法

权利要求书

1.一种适用于低景深图像的语义对象分割方法，其特征在于引入梯度直方图计算出图像在能量空间中的分布，结合低景深图像的性质得到能量聚焦显著图，然后利用双边滤波器和形态学工具对能量聚焦显著图进行再处理，接下来设定阈值处理得到初始对象掩模图，为了提高分割精度，结合canny算子检测得到的边缘信息得到修正后对象掩模；最后使用贝叶斯羽化算法得到理想的语义对象分割结果；本方法可以有效地在图像视频序列中对低景深范围内的语义对象实现精确分割；其具体步骤是：

a.梯度能量处理：首先给出能量函数公式，即下列公式(1)：对图像分别进行x，y两个方向的偏导数，取它们的绝对值作为能量函数的分子项；求得每一个像素点的方向梯度直方图HoG最大值，通过计算像素点i(x，y)的11×11邻域中所有像素点的方向梯度角，划分到20个区间中，寻找出HoG最大值数目作为该像素点分母项；其中i(x，y)为图像像素值，

EHoG=|∂∂xi|+|∂∂yi|max(HoG(i(x,y)))---(1)]]>

①将一幅图像区分为聚焦区域和散焦区域；定义r_fo(x，y)和r_unfo(x，y)分别为低景深图像中的聚焦和散焦区域，原始图像i(x，y)表示为：

i(x，y)＝r_fo(x，y)+r_unfo(x，y)    (2)

②设α(x，y)为模糊函数，在数学上表示为低通滤波器，

i_α(x，y)＝i(x，y)*α(x，y)＝r_fo(x，y)*α(x，y)+r_unfo(x，y)*α(x，y)   (3)

式(3)表示对i(x，y)模糊处理，得到模糊图像，通过与α(x，y)卷积实行低通滤波，假设聚焦区域的高频值集中在f_high1～f_high2中，散焦区域中主要集中了大量的低频信息，设集中在f_low1～f_low2中，其中的低通滤波器α(x，y)的频率值为f_α，调整f_α的值使f_high1～f_high2频段的大量信息被滤除；模糊图像在频谱中反映为

I_α(u，v)＝I(u，v)×α(u，v)＝R_fo(u，v)×α(u，v)+R_unfo(u，v)×α(u，v)    (4)

(4)式经过滤波处理后简化为

I_α(u，v)＝I(u，v)×α(u，v)≈R_unfo(u，v)×α(u，v)＝R_unfo(u，v)    (5)

由公式(5)可得到，对一幅低景深图像滤波后，利用原始图像与滤波后图像相减，得到原始图像中高频信息的分布；结合公式(6)得出能量聚焦显著性图EFSM，其中E_i(x，y)、E_iα(x，y)分别表示原始图像和模糊图像分别映射到能量空间后的能量函数；通过引入梯度直方图计算出来的能量函数能够保留图像中的边缘、纹理信息，所以在能量空间中计算高频信息分布则更为精确，

EFSM(x，y)＝|E_i(x，y)-E_iα(x，y)|    (6)

b双边滤波和形态学处理：

(1)使用双边滤波器对EFSM平滑处理，双边滤波是分别对输入像素点与邻域亮度相似度和空间相似度的加权，即下列公式(7)所示：

BFSM(x,y)=1K(Σ(j,k)∈(x,y)exp((j-x)2+(k-y)22σb2)·exp((EFSM(j,k)-EFSM(x,y))22σi2)·EFSM(j,k)),]]>其中

K为归一化算子，η(x，y)表示以(x，y)为中心的平滑窗口；

K=Σ(j,k)∈η(x,y)exp(-(j-x)2+(k-y)22σb2)·exp(-(EFSM(j,k)-EFSM(x,y))22σi2))---(7)]]>

(2)对BFSM进行形态学闭处理得到MFSM；

(3)设定阈值：分别求取MFSM的均值mean和方差std，并将两者相加得到阈值为thre；

(4)阈值判断，得到初始对象掩模OOM；

c边缘处理：

(1)利用canny算子对原始图像滤波处理，得到图像的边缘信息；

(2)边缘信息结合初始对象掩模得到掩模内的边缘，对其邻域搜索扩展，使其恢复原始边缘长度，保持连通；

(3)对边缘组成的封闭区域实行“空洞”填充，得到了一个由边缘信息组成的二值边缘对象掩模EOM；

(4)对OOM和EOM叠加得到的二值索引图形态学开运算，用以平滑轮廓，去掉细小噪声点；得到修正后对象掩模AOM；

d羽化算法：

(1)由AOM图得到三值图：对AOM图由边界腐蚀一定宽度作为聚焦点区域TRI_F；对AOM图由边界膨胀一定像素宽度求反得到散焦区域TRI_D，不确定区域TRI_U为下列公式(8)；这里的腐蚀和膨胀宽度是由AOM图占整幅图像的比例大小决定的，是腐蚀边界面积达到AOM图总面积的6％，膨胀边界面积达到AOM图总面积的10％；由于AOM图已基本定位了语义对象的在图像中的位置，使用羽化算法只是为了对对象边界进行细处理，TRI_U＝～(TRI_F∪TRI_D)    (8)；

(2)对不确定区域TRI_U进行贝叶斯羽化算法处理：对不确定区域内像素判断归属于前景还是背景的问题；羽化算法基于公式C＝αF+(1-α)B，

其中C为未知点的颜色，α是透明度，B是背景色，F是前景色，定义一个贝叶斯框架来公式化上式中的参数，并求解一个最大后验概率问题，即下列公式(9)，其中F、B、α分别是需要求解的背景色、前景色、和不透明度，C是已经知道的图像上一点的颜色，在C已知前提下，求使得概率P最大的F、B、α，就是需要做的事情，L是对数函数，将乘法化为加法，简化计算，

arg maxP(F，B，α|C)

＝arg max_F，B，αP(C|F，B，α)P(B)P(α)/P(C)    (9)

＝arg max_F，B，αL(C|F，B，α)+L(F)+L(B)+L(α)

对等式右边分别建模，求解过程是一个迭代过程，在假设α已知的条件下对建模后的右式求偏导数转化为简单的线形方程组问题，求取出F，B，

ΣF-1+Iα2/σC2Iα(1-α)/σC2Iα(1-α)/σC2ΣB-1+Iα(1-α)/σC2FB=ΣF-1F‾+Cα/σC2ΣB-1B‾+C(1-α)/σC2---(10)]]>

由(10)式得到F，B的值，此时对α求偏导数得到式(11)

α=(C-B)·(F-B)||F-B||2---(11)]]>

初始的α取附近像素的平均值，根据以上迭代运算所的多组解求得公式(9)最大的值；最终则得到透明度α。