[发明专利]基于候选区域融合的视频显著性检测方法

摘要

本发明提供一种基于候选区域融合的视频显著性检测方法，包括以下步骤：将视频分为视频帧后，先将单个视频帧分割成超像素，分别计算每个超像素的空间显著度和时间显著度，然后通过自适应权重分配策略将空间显著图与时间显著图融合得到初步的时空显著图，通过候选区域的选择、合并、优化得到最终的时空显著图。本发明的视频显著性检测方法能有效克服背景杂乱、摄像机运动、显著性目标运动不一致的影响，准确的标注视频的显著性区域。

主权项

1.一种基于候选区域融合的视频显著性检测方法，其特征在于，该方法包括以下步骤：/n步骤1、从视频中提取出视频帧后，先将视频帧从rgb颜色空间转换到lab颜色空间，再对视频帧进行超像素分割，将一个视频帧表示成一组超像素块；/n步骤2、计算视频帧的空间显著图：先求出每个超像素块的三种特征：边界连通度、颜色分布紧凑度、距离加权的颜色对比度，然后通过三个特征计算初始的空间显著度，再根据超像素的前景概率、背景概率、相邻超像素的关系对初始的空间显著度进行优化得到优化的空间显著度值；/n步骤3、计算视频帧的时间显著图：首先计算出视频帧像素级的光流数据，得到每个像素的运动向量；然后将每个超像素中所有像素的运动向量按照强度10个等级、方向16个等级进行联合量化，每个超像素得到一个包含160组运动向量数据的运动向量表；根据超像素的量化运动向量表，计算每组运动向量数据的平均强度值和概率值，得到超像素的运动向量平均强度表和概率分布表；再计算每个超像素平均强度的全局对比度和概率分布的全局对比度；最后将两个对比度值分别归一化，进行合并得到每个超像素的时间显著度；/n步骤4、对每个超像素的时间显著度和空间显著度进行初步融合，得到视频帧的初步融合显著图；/n步骤5、用自适应阈值法对空间显著图和初步融合显著图进行二值化处理，将二值图中值为1的连通区域作为候选显著性区域，把从初步融合图中得到的候选显著性区域作为种子候选区域，计算种子候选区域与其它候选区域之间的相似性，当相似性大于0.9时，将两个候选区域合并，遍历所有候选区域后得到最终的显著性区域图；以及/n步骤6、获取有连续显著度值的显著图：首先将显著区域里超像素的显著度值归一化到[thresh_spatial,1]范围，再对显著性区域里超像素的显著度值进行优化，得到最终的显著图，其中thresh_spatial为视频帧空间显著图的自适应阈值；/n所述步骤2的具体实现包括：/n2.1计算每个超像素的距离加权对比度/n距离加权颜色对比度的计算方法如下述公式(1)，其中ωctr(p)为超像素p的加权对比度，N表示图像帧包含的超像素的数目；ω_spa(p,p_j)表示超像素p_j与p的空间距离权值，计算方法如公式(2)，d_spa(p,p_i)表示超像素p_j与p的空间距离，σ_spa取0.25；d_lab(p,p_j)表示超像素p和p_j在lab颜色空间的距离，计算方法如公式(3)，lab(p)和lab(p_j)分别为超像素p和p_j在lab颜色空间的取值:/n /n /n /n2.2用关联繁殖聚类算法对超像素进行聚类得到若干个近似目标区域，关联繁殖聚类算法的输入参数包括相似度矩阵、偏好度、抑制度，用超像素中所有像素颜色值的平均值表示该超像素的颜色值，根据超像素的颜色值构建视频帧所有超像素的相似度矩阵Sim，如公式(4)所示，Sim(i,j)表示超像素i、j之间的相似性，关联繁殖算法的偏好度设置为相似矩阵Sim的列均值，抑制度设置为0.9：/n /n2.3计算近似目标区域reg_i的边界连通度，一个近似目标区域中的超像素有相同的颜色分布紧凑度，边界连通度计算方法如公式(5)，其中BndCon(i)为边界连通度值，Len_bnd(i)为近似目标区域reg_i在视频帧边界上的长度，SArea(i)为近似目标区域reg_i的面积:/n /n2.4计算近似目标区域reg_i的颜色分布紧凑度，一个近似目标区域中的超像素有相同的颜色分布紧凑度，颜色分布紧凑度计算方法如公式(5)，其中BndCon(i)为颜色分布紧凑度值，K为近似目标区域包含的超像素个数，mpos(i)为近似目标区域reg_i中心的坐标，pos(j)为近似目标区域中包含超像素j的中心坐标：/n /n2.5初始的空间显著度的计算方法如公式(7)所示，其中bndcon(p)、comp(p)、ωctr(p)分别表示超像素p的边界连通度、颜色分布紧凑度、距离加权对比度:/n /n2.6初始的空间显著度的优化方法，采用下述公式(8)，其中，N为视频帧包含的超像素个数，λ根据经验取5；为超像素i的前景概率，取值为初始空间显著度值为超像素i的背景概率，计算方法如公式(9)，其中σ_b取1；超像素i、j在空间上相邻，s_i、s_j为超像素i、j的优化后的显著度值；ω_ij的计算方法如公式(10)，其中d_lab(p_i,p_j)的计算方法如公式(3)，σ_b取10；/n /n /n /n所述步骤3的具体实现包括：/n3.1用Brox的Large displacement optical flow法计算出视频帧的光流，光流数据包括每个像素的二维运动向量；/n3.2将每个超像素中所有像素的运动向量按照强度10个级数、方向16个级数进行联合量化，每个超像素得到一个包含160组运动向量数据的运动向量表，对于某个超像素p的运动向量表为MQT_p，其中b_i表示落到量化格i中的运动向量集合，i_n表示b_i中运动向量的个数；/n3.3根据超像素的量化运动向量表，通过公式(11)、(12)计算每组运动向量数据的平均强度值和概率值，其中MVAIT(p)、MVPDH(p)分别表示超像素p的运动向量平均强度表和概率分布表，I_j表示运动向量mv_j的强度，i_n表示b_n中运动向量的个数:/n /n /n3.4根据超像素的运动向量平均强度表和概率分布表，按照公式(13)、(14)分别计算每个超像素平均强度的全局对比度和概率分布的全局对比度，公式(13)、(14)中，N表示视频帧中超像素的数量，MVPDH(p,j)表示超像素p的概率分布表的j个概率值，表示超像素p的平均强度表的j个平均强度值:/n /n /n3.5将所有超像素的平均强度的全局对比度和概率分布的全局对比度分别归一化，用公式(15)进行合并得到每个超像素的时间显著度，S^T(p)表示超像素p的时间显著度值；/nS^T(p)＝S_pdc(p)*exp(S_aic(p)) (15)/n所述步骤4的具体实现包括：/n对每个超像素的时间显著度S^T(p)和空间显著度S^S(p)用公式(16)进行初步融合，得到视频帧的初步融合时空显著图；/n /n所述步骤5的具体实现包括：/n5.1用自适应阈值法对空间显著图和初步融合的时空显著图进行二值化处理，将二值图中值为1的连通区域作为候选显著性区域；/n5.2把从初步融合时空显著图中得到的候选显著性区域作为种子候选区域，用公式(17)、(18)、(19)计算种子候选区域与其它候选区域之间的相似性，当相似性大于0.9时，将两个候选区域合并，将每个种子候选区域分别于所有非种子候选区域进行比较、合并后得到最终的显著性区域图；公式(17)中sim(i,j)表示候选区域i、j之间的相似性，sim_color(i,j)、sim_region(i,j)分别表示候选区域i、j之间的颜色相似性和空间相似性；公式(18)中，overlapArea(i,j)表示候选区域i、j的重叠区域面积，Area(i)表示候选区域i的面积大小；公式(19)用候选区域i、j颜色直方图的卡方距离来衡量颜色相似性，颜色直方图通过对候选区域在Lab空间的三个通道里进行联合量化产生，三个通道的量化级数都为10，H_i(·)、H_j(·)分别表示候选区域i、j颜色直方图；/nsim(i,j)＝sim_region(i,j)×sim_color(i,j) (17)/n /n /n