[发明专利]一种多层次结合的协同显著性检测方法

摘要

本发明属于显著性检测技术领域，提供了一种多层次结合的协同显著性检测方法。步骤如下：1)提取目标框及目标框初始筛选；2)目标框粗略筛选及分割目标区域；3)基于噪声检测的目标区域精确筛选；4)超像素分割及特征提取；5)超像素分类；6)多尺度融合及扩散。本发明的效果和益处是从两个不同层次着手进行协同显著性检测，层层递进，用目标层提供的目标模板信息指导了超像素层的精细分类，综合利用了不同层次的优势，互相弥补了不足，更准确地检测出了一组图像中共有的目标。

主权项

1.一种多层次结合的协同显著性检测方法，其特征在于，步骤如下：1)提取目标框及目标框初始筛选本协同显著性检测方法在图像分组放置的图像库上进行检测，图像库中每组图像内的多个图像都包含相同或相似的目标；对每幅图像提取1000～2000个目标框，计算每个目标框占所属图像的面积比例，将比例超过70％以及不足30％的目标框删除；2)目标框粗略筛选及分割目标区域将每幅图像在步骤1)中保留下来的目标框叠加，形成初始灰度图，将小于0.3的灰度值称为背景灰度值；对应初始灰度图，统计每个目标框内包含像素对应的背景灰度值之和，并除以对应目标框面积，作为背景值得分；对每幅图像，取背景值得分最小的前30个目标框保留；用基于高阶能量项的分割方法对每个目标框进行分割，得到30个具有轮廓信息的不规则目标区域；再通过edgebox算法得到每幅图像的目标边缘图；通过计算每个目标区域的边缘与对应的目标边缘图中目标边缘的重合度，目标区域与目标边缘图中重心距离，每个目标区域得到一个得分，按照得分从大到小的顺序排列，取前10个目标区域保留；3)基于噪声检测的目标区域精确筛选首先分别提取整组图像每个目标区域的R‑CNN特征，每个目标区域共8192维，将一组图像中所有目标区域一并进行检测，噪声检测的目标函数如下：其中，α₁,α₂均为参数，取0.1；x_i为目标区域i的R‑CNN特征；f为分类函数，f(x_i)则代表目标区域i的预测标签；n和n⁺分别代表所有目标区域的个数以及正类目标区域的个数；y_i为软标签，其取值为或L＝D‑W，W表示两个临近目标区域间的相似度，其元素计算如下：ε为设定的参数；其中目标区域i处于j的邻近集合中，且目标区域j也处于i的邻近集合中；D是一个对角矩阵，其对角元素定义为采用迭代求解方式对噪声检测的目标函数进行求解；首先将分类函数f定义为f＝Kβ，其中β＝[β₁,β₂,...,β_n]^T是系数，K代表核矩阵，其核映射为k(x)＝[κ(x₁,x),...,κ(x_n,x)]^T，因而分类函数也表示为f(x)＝β^Tk(x)；将β₀初始化为则随后，不断迭代更新f；在每一次迭代t中，通过参考有噪声的标签矩阵y_t，此噪声检测的目标函数产生新的预测标签f_t+1＝Kβ；然后再由f_t+1得到更精细的标签y_t+1，并且保留到下次迭代中，根据实际需求进行多次迭代；最后根据标签f的正负，将所有目标区域分成模板类和噪声类两类，标签f是正定义为模板类，标签f是负定义为噪声类；将所有图像中噪声类中的所有目标区域去除；将模板类中属于同一幅图像的目标区域叠加，得到一个灰度图，再用基于高阶能量项的分割方法将其分割，得到属于该幅图像的模板；4)超像素分割及特征提取对每幅图像，用SLIC算法进行多尺度超像素分割，通过已训练好的VGG网络为每个超像素提取VGG特征，选用VGG1‑1层和池化1层的输出，将其分别转化到与图像大小对应的尺寸上，进而得到每个像素的对应值作为该像素的特征；对于每个超像素，再计算其包含的像素特征的平均值，作为该超像素的特征；将每层输出串联起来，得到最终超像素特征；5)超像素分类将每一组内所有图像的各个尺度超像素输入到超像素分类模型中，首先需要求解如下目标函数，得到转移矩阵Q；其中，A为超像素VGG特征矩阵，a_v和a_z则分别代表超像素v和z的VGG特征；Q为需要求解的转移矩阵，h_vz为超像素v和z的相似度；目标函数中第一项的F代表F范数；γ₁与γ₂是设定好的参数，均取0.0001；N为总的超像素个数；P为超像素的伪真值标签矩阵，伪真值标签取值分为正负两类，取值为+1或‑1；我们根据噪声检测中得到的模板计算标签矩阵P；首先计算各个超像素中处于对应模板的前景区域中的面积占该超像素总面积的比例；当该比例大于70％时，赋予此超像素正标签，反之则赋予其负标签；若某幅图像在噪声检测中并未得到模板，则该图像的超像素不作为训练超像素来计算转移矩阵Q；选定超像素标签后，则开始对超像素分类的目标函数进行求解；标签分为正负两类，先从第r类的转移矩阵Q_r入手，对其求偏导数如下:其中，P_r是第r类的标签矩阵；E_r是一个对角矩阵，其中第m个对角元e_mr由Q_r中第m个对角元计算得到；计算公式如下：随后迭代更新Q_r和E_r的值，根据实际需求进行多次迭代；每一次迭代θ中，通过固定由上公式计算出再固定将更新为其中η是一个参数；根据求解得到的Q_r，分别计算组内所有超像素属于每一类的预测得分A^TQ_r；若该超像素在正类中得分高，则判为正类，反之则判为负类；根据正类超像素对应灰度值为1，负类超像素对应灰度值为0，每幅图像得到对应的二值分类结果图；6)多尺度融合及扩散步骤5)中每幅图像在多尺度下均得到对应的二值分类结果图，将每幅图像的多幅二值分类结果图叠加，得到灰度图S₁，将叠加的灰度图S₁按照自适应的阈值分割，得到分类后的二值图S₂；其中自适应阈值设定为μ+σ，μ为该图像灰度值均值，σ为标准差；再将多尺度叠加后所得二值图S₂用graphcut算法分割，每幅图像中以分割后灰度值为1的部分为前景种子点，根据流行排序算法进行扩散，得到扩散后的灰度显著性图S₃；再与多尺度叠加得到的灰度图S₁融合，融合公式如下：S＝2*S₁+S₃；将所得融合图S归一化后便得到最终的显著性图。