[发明专利]基于前景和背景先验的多模态区域一致性的显著性对象检测方法

摘要

一种基于前景和背景先验的多模态区域一致性的显著性对象检测方法，包括如下步骤1)获得场景的颜色图像和深度图像，同时生成点云；2)采用颜色图和深度图将场景分割；3)采用基于对象区域检测方法，对图像的所有区域进行检测得到焦点区域，在颜色图像中将焦点区域作为前景先验；4)检测出点云的平面区域作为背景先验，从颜色图像和对应深度图像中得到点云数据，在点云数据中检测出平面结构，然后计算连接场景边界的边界长度，计算出平面分割的背景连通度，并且得到过分割的背景权重；5)计算得到全局区域对比度SG(rk)，显著性图通过下面的公式得到S(rk)＝SF(rk)×SB(rk)×SG(rk)。本发明有效提升正确率。

主权项

一种基于前景和背景先验的多模态区域一致性的显著性对象检测方法，其特征在于：所述检测方法包括如下步骤：1)获得场景的颜色图像和深度图像，同时生成点云；2)采用颜色图和深度图将场景分割计算颜色空间和深度空间像素间的差异值D(C1,C2)的过程如下：D(C1,C2)=argminvi∈C1,vj∈C2,(vi,vj)∈Ew(vi,vj)]]>其中，vi和vj是组件C1和C2各自的节点，E表示邻域系统，w(vi,vj)表示边权函数；w(vi,vj)=λ|IPic-IPjc|2+(1-λ)|IPid-IPjd|2]]>其中，参数λ控制颜色和深度通道的权值，分别表示两个像素的颜色强度；分别表示两个像素的深度；采用自适应方法确定权值λ：λ＝1.0‑min(α,β*ndp/ncl)其中ndp和ncl是深度图和颜色图的过分割数目，参数β是用于调整颜色图和深度图之间对过分割贡献的比例，参数α是用于保证颜色图的最小贡献量，参数α为0～1之间的小数；3)采用基于对象区域检测方法，对图像的所有区域进行检测得到焦点区域，在颜色图像中将焦点区域作为前景先验；采用不同大小的高斯核对图像进行卷积操作，得到卷积图像，计算每幅卷积图像中所有像素水平方向和垂直方向上的梯度，然后得到每幅卷积图像中的像素分布直方图；通过一个k*k的核以及梯度的对数似然函数来得到：lk(x)=Σx′∈N(x)(logpkh(x′)+logpkv(x′))]]>其中和表示水平和垂直梯度的分布，从卷积图中计算得到，N(x)是像素x的邻域窗口；通过找到所有核大小的lk(x)的最大值，找到一个核，用k*(x)表示，看作是用于解释图的最好的一批窗口；核的大小能反映窗口的清晰度；对于每个像素，存在一个对应的k*(x)，并且它能用于表示清晰或者模糊的区域，通过定义一个二值图：U(x)=1,k*(x)≤30,otherwise]]>将U映射到水平和垂直轴上后，统计二值图中从水平到垂直方向的白色像素的个数，从而获得两组坐标，作为焦点区域，得到焦点区域后，计算带有前景先验的显著性SF(rk)，定义如下：SF(rk)=1-dist(rk,rfp)maxri∈rdist(ri,rfp)]]>其中，dist()表示过分割的中心到焦点区域的中心的距离，并且表示焦点区域内所有过分割之间的最大距离，rk表示过分割，rfp表示焦点区域，ri表示所有过分割区域中的第i个区域，r表示所有过分割区域的集合；4)检测出点云的平面区域作为背景先验从颜色图像和对应深度图像中得到点云数据，在点云数据中检测出平面结构，然后计算连接场景边界的边界长度，计算出平面分割的背景连通度，并且得到过分割的背景权重；用下面的定义作为平面分割的背景连通度：Bg(planei)=Len(planei)|planei|]]>其中，Bg(planei)是平面分割planei的连通度，Len(planei)是边界的长度，它跟场景边界相邻，并且|planei|是分割平面planei的面积；基于背景连通度，定义一个过分割rk的背景权值：Bw(rk)=Σplanei∈PBg(planei)|rk∩planei||rk|]]>其中，Bw(rk)是过分割rk的背景权值，P是所有检测到平面planei的集合；Bw(rk)值的范围是从0到1，根据背景权值，定义背景先验的显著性SB(rk)：SB(rk)＝1‑Bw(rk)5)计算得到全局区域对比度全局区域对比度SG(rk)，定义如下：SG(rk)=Σrk≠riexp(-Ds(rk,ri)/σ2)w(ri)Dr(rk,ri)]]>其中Dr(rk,ri)和Ds(rk,ri)表示区域rk和ri之间各自颜色和空间距离，σ确定空间权值的长度，w(ri)表示区域ri的权值，是区域ri中的像素个数；显著性图通过下面的公式得到：S(rk)＝SF(rk)×SB(rk)×SG(rk)其中，SF(rk)表示前景先验显著性值，SB(rk)表示背景先验显著性值，SG(rk)表示全局区域对比度，S(rk)表示最终得到的显著性图。