[发明专利]一种适用于严重退化图像的基于显著性的对象分割方法

摘要

一种适用于严重退化图像的基于显著性的对象分割方法，包括以下步骤(1)通过显著图生成初始化的显著对象种子；(2)生成基于局部自相关性的骨架；(3)在显著对象的边缘上生成用于扩展的起始点；(4)为每个起始点初始化扩展的方向；(5)设置扩展的终止条件并完成扩展操作；(6)标记没能找到终止点的起始点作为退化区域标记点；(7)对扩展后的结果进行修补和平滑；(8)根据退化区域标记点用超像素修补对象分割结果。本发明结合局部自相关性以及超像素能有效地提高分割结果的准确性和完整性，避免了由严重图像退化所带来的分割结果丢失部分区域的问题，提高了显著对象分割对于图像退化的鲁棒性。

主权项

一种适用于严重退化图像的基于显著性的对象分割方法，其特征在于：所述基于显著性的对象分割方法包括以下步骤：(1)通过显著图生成初始化的显著对象种子在基于软图像抽象化方法得到的显著图的直方图中显著度更高的范围内寻找一个直方图的峰值，该显著度更高的范围选取为(127,255]，通过阈值T对显著图进行阈值分割得到一张二值化的分割结果；一个接一个地标记连通域，并且在标记前采用形态学膨胀操作来保护目标对象更多的显著细节，在已经标记好的不连通区域中提取最主要的区域作为初始显著对象种子；(2)生成基于局部自相关性的骨架点(x,y)在以该点为中心的局部窗口w内的局部自相关方程：f(x,y)=Σ(xk,yk)∈w[I(xk,yk)-I(xk+Δx,yk+Δy)]2,---(2.1)]]>其中，I(xk,yk)代表点(xk,yk)在窗口w内的梯度，Δx和Δy分别代表在x和y两个方向上的位移量；该公式(2.1)被近似为：f(x,y)≅Σ(xk,yk)∈w[Ix(xk,yk)-Iy(xk,yk)]ΔxΔy2=[Δx,Δy]MΔxΔy,---(2.2)]]>其中M=Σ(xk,yk)∈wIx2(xk,yk)Ix(xk,yk)Iy(xk,yk)Ix(xk,yk)Iy(xk,yk)Iy2(xk,yk)---(2.3)]]>计算从每个点获得的矩阵M的两个特征值，其中较小特征值的特征向量对应椭圆的长轴方向，这个方向可以表示为点的延伸方向，将每个点计算得到的值转换到方向空间[0,180]中，每个值都表示在一条直线上的正反两个方向，所生成的运动方向图每个像素上的值都对应某个的方向；通过平均分配的方式将运动方向图归一化到4个方向{0,45,90,135}，在运动方向图归一化后的图像中数量最大的方向将被当做背景的方向；之后将背景的方向都去除，剩下的最大连通区域就被当做补充的对象种子；沿着背景方向搜索背景中两个邻近方向来修补丢失的部分，当两个邻近相关区域在空间上靠近彼此时就将它们连在一起；如果从步骤(1)中得到初始显著对象种子由若干个不连通的区域组成，这就表示从步骤(1)中得到的结果不能用来代表目标对象的整个骨架，在这种情况下，基于局部自相关性的骨架被用来让初始显著对象种子优化成更好的显著对象种子，考虑到由局部自相关性得到的骨架和目标对象相比有些膨胀，所以应用了形态学的腐蚀操作来修正这一问题；当初始显著对象种子由若干不连通的区域组成时，将基于局部自相关性的骨架和初始显著对象种子融合在一起作为最终的显著对象种子；否则，仅仅将步骤(1)中得到结果作为最终的显著对象种子；在最终的显著对象种子里的空洞需要被填充，除了那些占了整个目标对象的1/5阈值以上的空洞；(3)在最终的显著对象种子的边缘上生成用于扩展的起始点在最终的显著对象种子的边界上的每个点都被当作我们扩展方法的起始点，构建了一个3×3大小的卷积核Ns，并且让最终的显著对象种子二值图Mb和卷积核Ns作卷积操作，当操作窗口中中心点p的值是1时，Ns就会被使用计算出一个决定因子d：d=1,n≠0andn≠80,n=0orn=8,---(3.1)]]>n=Σpij∈wpij*Nsij,---(3.2)]]>其中，pij最终的显著对象种子在w窗口中第i行第j列的像素点二进制值，而Nsij表示在Ns中第i行第j列的的值，如果n不等于0和8，决定因子d为1，表示所有点的值不都是一样的，就把这个卷积核中心点作为最终的显著对象种子边缘上的其中一个起始点；(4)为每个起始点初始化扩展的方向基于起始点集{Ps}，每个起始点的方向都会被计算，设想每个起始点都沿着法线方向扩展，所以需要计算这个法线方向，将扩展方向分成8种类型，并且用0至7八个数字来标记它们，一个卷积核Nd被构造出来用来确定每个起始点的法线方向，于计算方向ld的标记值的公式如下所示:Nd=012703654,---(4.2)]]>其中，pij是二值图Mb在卷积窗口w中对应第i行第j列像素的值，表示对该像素值进行取反操作，如果原来是1则变为0，如果是0则变为1，而p11则是在窗口w中的第1行第1列像素的值，n1是当p11＝1时除了中心点以外所有满足{pij＝1}的点的数量，而n2则是当p11＝0时除了中心点以外所有满足{pij＝1}的点的数量；(5)设置扩展的终止条件并完成扩展操作采用自适应阈值canny算子的算法来检测原始图像的边界，并规定了一个可扩展限制区域，该限制区域是由最终的显著对象种子进行三次膨胀得到的；在限制区域中，每个边界上的点都有机会成为扩展的终止点，根据扩展方向将终止条件分成两类：{0,2,4,6}和{1,3,5,7}，每种类型都包含了若干种情况；当一个起始点沿着它的法线方向找到了它的终止点，就会进行起始点向所对应的终止点延伸的一个操作，把在起始点(x,y)和终止点(xe,ye)之间的延伸线上的点重新赋值，延伸线上的点集合表示为如下公式：{p(x+dixΔx,y+diyΔy)＝1|0≤Δx≤|x‑xe|,0≤Δy≤|y‑ye|}，   (5.1)其中，p(x+dixΔx,y+diyΔy)是延伸线上的点的二进制值，它表示在限制区域中延伸线上重新赋值的点会成为我们最终目标对象中的点；di的取值从集合{(‑1,‑1),(0,‑1),(1,‑1),(1,0),(1,1),(0,1),(‑1,1),(‑1,0)}中寻找，它对应8个方向标记值{0,1,2,3,4,5,6,7}；(6)标记没能找到终止点的起始点作为退化区域标记点如果一个起始点在扩展限制区域中不存在终止点，将该起始点标记为一个在退化区域中的点，获得一个代表退化区域的标记点集合P1；(7)对扩展后的结果进行修补和平滑按照面积对这些不连通的空洞进行排序，并且将空洞中的点重新赋值成为目标对象中的点，除了那些面积占整个对象的20％以上的空洞，最后，使用高斯滤波器来平滑结果中由误差引起的粗糙的边界；(8)根据退化区域标记点用超像素修补对象分割结果采用由简单线性迭代聚类超像素分割方法得到的超像素来修补那些被丢失的退化区域，当基于局部自相关性的骨架结合到最终的显著对象种子时，不执行基于超像素的对象融合的过程；Objf=Obje+ΣSi∈S,nli>5Si,a=0Obje,a=1,---(8.1)]]>其中，Objf表示最终的目标对象，而Obje表示扩展之后所得到的结果；参数a＝0表示基于局部自相关性的骨架没有应用到最终的显著对象种子中，nli表示在超像素Si中标记点的数量，这些标记点是从步骤(6)中获得的，并且属于集合Pl。