[发明专利]基于能量优化的图像协同显著性检测方法

摘要

本发明基于能量优化的图像协同显著性检测方法，涉及图像数据处理领域，将三个重要的显著性线索进行融合，对融合后能量方程进行优化，步骤是：输入图像组{I1,I2,...,In}，进行预处理；确定初始候选简单显著性图计算初始协同显著性图设置简单图像Isim；分别提取简单图像的前景区域和背景区域的颜色特征；完成图像协同显著性检测。本发明克服了现有技术中人工标记复杂、背景噪声过多以及目标缺失的缺陷。

主权项

1.基于能量优化的图像协同显著性检测方法，其特征在于:是将三个重要的显著性线索进行融合，对融合后能量方程进行优化，具体步骤如下:第一步,输入图像组{I1,I2,...,In},进行预处理:输入一组包含相同类别目标的图像组{I¹,I²,...,Iⁿ},利用SLIC超像素区域分割算法对该图像组中的所有图像分别进行超像素区域分割,其中,图像Iⁱ预分割为区域对图像Iⁱ中的每个超像素区域提取平均CIE‑Lab颜色空间颜色特征和空间位置特征用公知方法计算图像Iⁱ中的第s个超像素区域和图像Iⁱ中的第s′个超像素区域之间的颜色距离和空间位置距离,对上述输入图像组中所有图像利用RBD算法获得初始显著性图上述式子中,Iⁱ为输入图像组中的第i张图像,超像素区域为图像Iⁱ的第s个超像素区域,下标s为超像素区域的标号,为图像Iⁱ的第s个超像素区域的颜色特征,为图像Iⁱ的第s个超像素区域的空间位置特征,为图像Iⁱ的初始显著性图,N(rⁱ)为图像Iⁱ预分割超像素区域的总个数,n为输入图像组中图像的个数,至此完成输入图像组{I¹,I²,...,Iⁿ}的预处理,以下步骤中的n均为输入图像组中图像的个数；第二步,确定初始候选简单显著性图对上述第一步中的图像的初始显著性图进行质量评估,目标是找到前景和背景分离较好的显著性图,将获得质量评估分数较高的前一半初始显著性图,作为初始候选简单显著性图具体操作方法如下:对初始显著性图利用分离度测度计算前景区域和背景区域的分离程度,具体步骤如下:首先利用OTSU算法对初始显著性图进行二值化,获得前景区域的二维高斯分布曲线和背景区域的二维高斯分布曲线,二者的显著性值均服从二维高斯分布,前景区域的二维高斯分布曲线表示为公式(1):公式(1)中,z表示从0～1变化的显著性值,为二维高斯分布的均值,定义为前景区域的平均显著性值,为前景区域显著性值的标准差,背景区域的二维高斯分布曲线表示为公式(2):公式(2)中,z表示从0～1变化的显著性值,为二维高斯分布的均值,定义为背景区域的平均显著性值,为背景区域显著性值的标准差,然后,计算初始显著性图中的前景区域的二维高斯分布曲线和背景区域的二维高斯分布曲线的重叠面积,具体步骤如下:假设z*表示前景区域和背景区域二维高斯分布曲线交点对应的显著性值,该显著性值可以通过求解以下公式(3)和公式(4)所示的二次方程获得:将公式(3)展开得公式(4):求解上述二次方程获得前景区域和背景区域的分布曲线交点对应的显著性值z^*如公式(5)所示:公式(5)中,μ_f表示初始显著性图前景区域二维高斯分布曲线的均值,μ_b表示初始显著性图背景区域二维高斯分布曲线的均值,σ_f表示初始显著性图前景区域显著性值的标准差,σ_b表示初始显著性图背景区域显著性值的标准差,log(·)为对数运算,初始显著性图中的前景区域的二维高斯分布曲线和背景区域的二维高斯分布曲线的重叠面积如公式(6)所示:公式(6)中,表示初始显著性图前景区域的二维高斯分布曲线,表示初始显著性图背景区域的二维高斯分布曲线,z^*表示初始显著性图前景区域的二维高斯分布曲线和背景区域的二维高斯分布曲线的交点所对应的显著性值,表示初始显著性图前景区域的二维高斯分布曲线在0≤z≤z^*时,与横轴正半轴所组成区域的面积,表示初始显著性图背景区域的二维高斯分布曲线在z^*≤z≤1时,与横轴正半轴所组成区域的面积,最后,计算初始显著性图的分离度测度如公式(7)所示:公式(7)中,表示初始显著性图中的前景区域的二维高斯分布曲线和背景区域的二维高斯分布曲线的重叠面积,初始显著性图最终的质量评估得分由分离度测度决定,分离度测度的数值越大说明初始显著性图的前景区域和背景区域分离越明显,其质量评估分数越高,将初始显著性图中质量评估分数较高的前一半作为初始候选简单显著性图由此完成确定初始候选简单显著性图第三步,计算初始协同显著性图对上述第二步得到的初始候选简单显著性图引入全局一致性项Yⁱ进行优化计算初始协同显著性图具体操作如下:首先,将上述第一步的输入图像组{I¹,I²,...,Iⁿ}里的所有的图像进行k‑means聚类获得其中K表示所有图像聚类总个数,然后,利用一个具有n个bin的直方图按公式(8)来描述聚类在n张图像中的重复性,公式(8)中,m_k表示聚类中类k的超像素总个数,表示超像素的类索引,最后,引入全局一致性项Yi为公式(9)所示:公式(9)中,var(q_k)表示聚类中直方图q_k的方差,将初始候选简单显著性图和全局一致性项Yⁱ进行融合计算初始协同显著性图如公式(10)所示:公式(10)中,“*”表示点乘,即将初始候选简单显著性图和全局一致性项Yⁱ中对应像素点的显著性值逐个相乘,完成计算初始协同显著性图得到初始协同显著性图中对应像素的协同显著性值,由此完成计算初始协同显著性图第四步,设置简单图像Isim:利用上述第二步中的初始候选简单显著性图和上述第三步中的初始协同显著性图选取包含相同类别目标简单图像I^sim,具体操作步骤如下:首先,利用OTSU算法对上述第二步中的初始候选简单显著性图进行阈值分割获得前景区域如公式(11)所示:然后,利用OTSU算法对上述第三步中的初始协同显著性图进行阈值分割获得前景区域如公式(12)所示:最后,选择N_sim个简单图像,比较上述前景区域和上述前景区域比较结果表示为公式(13):公式(13)中,θ＝0.8,当IOU≥θ,说明初始候选简单显著性图经过阈值分割获得的前景区域和初始协同显著性图经过阈值分割获得的前景区域包含相同的目标,因此,选取IOU≥0.8的图像设置为简单图像I^sim,由此完成设置简单图像I^sim；第五步,分别提取简单图像的前景区域和背景区域的颜色特征:利用上述第四步得到的简单图像I^sim,获得简单图像的前景区域的颜色特征和简单图像的背景区域的颜色特征具体操作步骤如下:首先,假设上述第四步得到的简单图像I^sim的初始协同显著性图表示为利用OTSU算法对进行阈值分割,获得简单图像的前景区域和简单图像的背景区域其中sim＝1,2,...,N_sim,表示简单图像个数,然后,用公知方法提取,对简单图像的前景区域对应超像素区域的三个颜色通道的颜色值分别取平均值作为简单图像的前景区域的平均颜色值对简单图像的背景区域对应超像素区域的三个颜色通道的颜色值分别取平均值作为简单图像的背景区域的平均颜色值其中表示简单图像的前景区域包含的超像素区域的个数,表示简单图像的背景区域包含的超像素区域个数,由此完成提取简单图像的前景区域和简单图像的背景区域的颜色特征；第六步,完成图像协同显著性检测:将图内显著性线索和图间显著性线索进行融合构造二次能量方程求解最终的协同显著性图,以完成图像协同显著性检测,具体操作步骤如下:第(6.1)步,获取图内显著性线索:图内显著性线索包括:对比度线索和位置线索,第(6.1.1)步,获取对比度线索:进一步利用OTSU算法对上述第五步所述的简单图像I^sim的初始协同显著性图进行阈值分割,得到前景超像素区域集和背景超像素区域集对于上述第一步的输入图像组{I¹,I²,...,Iⁿ},其中图像Iⁱ任一区域的对比度线索表示为如下的公式(14):公式(14)中,表示背景超像素区域的平均颜色特征,表示前景超像素区域的平均颜色特征,第(6.1.2)步,获取位置线索:(1)当图像的边界位置为背景区域时,定义上述第一步中所述的图像Iⁱ的超像素区域的边界连通性为如下公式(15)所示:公式(15)表明,超像素区域的边界连通性为分子所示的区域接触图像边界部分的周长占其分母所示的整体面积的平方根的比例,(2)当前景显著性物体目标接触图像边界时,该目标会被误判为背景区域,导致显著性图目标缺失现象,为此引入差异性,超像素区域的差异性如下公式(16)所示:公式(16)中,表示超像素区域的平均CIE‑Lab颜色特征,表示超像素区域的平均CIE‑Lab颜色特征,(3)超像素区域的差异性越大说明该超像素区域为背景区域的概率越小,将背景先验用如下公式(17)表示:公式(17)中,表示公式(15)中超像素区域的边界连通性,表示公式(16)中超像素区域的差异性,当上述背景先验越大时,超像素区域属于背景区域的概率越高,当上述背景先验越小时,超像素区域属于背景区域的概率越低,因此,超像素区域的背景概率定义为如下公式(18)所示:公式(18)中,表示公式(17)中超像素区域的背景先验,σ_bndCon为常数,设置为1,由此获取位置线索定义为公式(19)所示:由此完成获取图内显著性线索；第(6.2)步,获取图间显著性线索:图间显著性线索用来测量上述第一步的输入图像组{I¹,I²,...,Iⁿ}中所有图像前景区域的相似度,首先对图像组{I¹,I²,...,Iⁿ}中的任意一个图像Iⁱ利用直方图Hⁱ建立前景模型,然后计算图像组{I¹,I²,...,Iⁿ}中所有上述第四步中所设置的简单图像I^sim的前景区域的平均直方图如下公式(20)所示:公式(20)中,sim＝1,2,...,N_sim表示简单图像I^sim的前景区域直方图,最后计算图像Iⁱ和所有简单图像I^sim前景区域的平均直方图的相似性,如下公式(21)所示:公式(21)中,表示超像素区域的颜色直方图,由此获得图间显著性线索第(6.3)步,图内显著性线索和图间显著性线索的融合:采用能量方程融合不同图内显著性线索和图间显著性线索,最终的图像协同显著性图通过公式(22)所示的最小化能量方程即二次能量方程获得:公式(22)中,数据项ECtr(·)表示对比度线索SCtr(·)的花费,由公式(23)定义如下:公式(22)中,数据项EPos(·)表示位置线索SPos(·)的花费,由公式(24)定义如下:公式(22)中,数据项EInter(·)表示图间显著性线索SInter(·)的花费,由公式(25)定义如下:公式(22)中,数据项表示平滑能量项,图像上具有相似颜色特征的超像素区域分配得到相似的显著性值,平滑能量项由如下公式(26)定义:公式(26)中,权重系数定义为超像素区域和超像素区域的CIE‑Lab颜色空间相似性,如公式(27)所示:公式(27)中,表示超像素区域的CIE‑Lab颜色空间的颜色值,表示超像素区域的CIE‑Lab颜色空间的颜色值,将上述公式(22)写为矩阵形式:公式(28)中,Dⁱ的对角线元素表示超像素区域和超像素区域的颜色空间相似性,上述公式(22)通过凸优化求解,如下面公式(29)所示:公式(29)中,Sⁱ表示图像Iⁱ待求解的协同显著性图,表示图像Iⁱ的对比度线索,表示图像Iⁱ的位置线索,表示图像Iⁱ的图间显著性线索,求解公式(29),得到最终的协同显著性图Si,如下面公式(30)所示:公式(30)中,最终的协同显著性图Sⁱ由对比度线索位置线索和图间显著性线索共同决定,公式(28)、公式(29)和公式(30)体现了对融合后能量方程进行优化,至此,完成对一组包含相同类别目标图像组的协同显著性检测,即完成图像协同显著性检测。