[发明专利]一种基于显著性检测的立体视频帧率提升方法

摘要

本发明属于立体视频帧率提升技术，具体的说涉及一种基于显著性检测的立体视频帧率提升方法。本发明主要方法包括对于所述的立体视频，通过显著性检测，获取显著图S；根据获得的显著图S，对运动矢量进行优化，具体为将显著图S划分为显著区域和非显著区域，分别对显著区域和非显著区域运动矢量进行优化；根据步骤b中获得的优化后的运动矢量，采用重叠块运动补偿的方法进行插帧。本发明的有益效果为，对显著区域和非显著区域的运动矢量场分类处理，修正了错误的运动矢量，内插序列更准确地反映真实运动轨迹，提升了内插序列的质量。

主权项

一种基于显著性检测的立体视频帧率提升方法，其特征在于，包括以下步骤：a.对于所述的立体视频，通过显著性检测，获取显著图S；b.根据获得的显著图S，对运动矢量进行优化，具体为：将显著图S划分为显著区域和非显著区域，分别对显著区域和非显著区域运动矢量进行优化；c.根据步骤b中获得的优化后的运动矢量，采用重叠块运动补偿的方法进行插帧；步骤a中所述获取显著图S的具体方法为：a1.将彩色图像进行超像素分割，得到N个超像素区域，标记为R＝{R1,R2,...,Ri,...,Rn}，根据如下公式6获取初级显著图S(i)：S(i)＝1‑Norm(V(i)+E(i)) (公式6)其中，V(i)为超像素块的空间差异，E(i)为超像素块到图像中心的欧氏距离，Norm为归一化函数，使得V(i)+E(i)的区间为0到1；V(i)可通过如下公式3计算：其中，ωij为超像素块Ri与Rj的相似度，nj是第j超像素块的像素个数，bj＝[bjx,bjy]是超像素块Rj的质心，μj＝[μjx,μjy]是超像素块Rj与邻近超像素块的空间均值；ωij可通过如下公式2计算：其中，ci和cj分别表示超像素块Ri和Rj的像素平均值，取σ＝0.05；μj＝[μjx,μjy]是超像素块Rj与邻近超像素块的空间均值，可通过如下公式4计算：E(i)可通过如下公式5计算：其中，p＝[px,py]表示图像中心坐标；a2.将背景区域的超像素块分为上下左右四块超像素小块，并分别标记为btop、bdown、bleft、bright；通过公式71获取超像素小块btop的显著图Stop(i)：通过公式72获取超像素小块bdown的显著图Sdown(i)：通过公式73获取超像素小块bleft的显著图Sleft(i)：通过公式74获取超像素小块bright的显著图Sright(i)：将获得的超像素小块显著图进行融合获得显著图S：S＝Norm(Stop·Sdown·Sleft·Sright) (公式8)；步骤b的具体方法为：b1.将显著图S划分为显著区域和非显著区域，具体方法为：设定显著阈值为τ，使得显著区域占总区域的对于区域Ri∈{R1,…,Rn}，显著区域表示为：非显著区域表示为：b2.对步骤b1中所述的显著区域运动矢量进行优化，具体为：将子块B分为4个子块，分别为B1、B2、B3和B4，用邻近块来优化子块的运动矢量场，设待测块及邻近块的运动优矢量为[v1,v2,v3…,v9]，待测块的运动矢量表示为v5，所述运动矢量的计算方法为采用前向和双向结合的双重运动估计方法，通过如下公式1计算运动矢量v：其中，SADcolor为彩色帧的双重运动估计，SADdepth为深度帧的双重运动估计；则待测块对应微子块的SAD表示为SAD5_1、SAD5_2、SAD5_3和SAD5_4；以B1为例，邻近块SAD值[SAD1_1,SAD2_1,…,SAD9_1]，其中最小值表示为SADmin_1，原始运动矢量SAD5_1相对于优化后最小值SADmin_1的比例系数K1通过如下公式111计算：原始运动矢量SAD5_2相对于优化后最小值SADmin_1的比例系数K2通过如下公式112计算：原始运动矢量SAD5_3相对于优化后最小值SADmin_1的比例系数K3通过如下公式113计算：原始运动矢量SAD5_4相对于优化后最小值SADmin_1的比例系数K4通过如下公式114计算：判断K1、K2、K3和K4的大小关系，若4个系数中有1个系数明显比其他3个系数大，修正微子块的运动矢量为vmin_1；若有两个系数明显比另外两个系数大，修正前两者的运动矢量为最小SAD值对应的运动矢量；若有3个系数明显比另外1个系数大，修正前两者的运动矢量为最小SAD值对应的运动矢量；若四个系数差别不大，该子块就不是运动物体和静态场景的混合体，运动矢量不修正；b3.对步骤b1中所述非显著区域运动矢量优化，具体包括：b31.检测异常运动矢量：设每个区域中有m个子块，共有k(k<m)种运动矢量；统计运动矢量的数量ki并排序，把前4种运动矢量和待测块的运动矢量作为候选值；设v1为待测运动矢量，vn为邻近块运动矢量的平均值，vn可通过如下公式12计算：判断是否成立，若是，则判断该待测块异常，进入步骤b32，若否，则判断该待测块正常，进入步骤c；b32.通过如下公式13计算Ri区域的SAD值：其中，Bj表示Ri区域中的子块，(vxr,vyr)为候选运动矢量，fn‑1和fn表示参考帧和当前帧，x和y表示像素点的坐标；通过如下公式14计算Ri区域中候选块的权重Pj：待测块的SADr'可通过如下公式15计算：根据上述的公式13、公式14和公式15，分别采用5个候选运动矢量获得5个候选块的SADr'值并排序，SADmin1表示最小SADr'值，对应运动矢量为vmin1，SADmin2表示次小SADr'值，对应运动矢量为vmin2；判断是否成立，若是，则最佳运动矢量为两者的均值，若否，则最佳运动矢量为vmin1。