[发明专利]一种基于显著性检测的立体视频帧率提升方法

说明书

技术领域

本发明属于立体视频帧率提升技术，具体的说涉及一种基于显著性检测的立体视频帧率提升方法。

背景技术

立体视频帧率提升技术起源于二维视频帧率提升技术。帧率提升的目的是提高视频信号的时间分辨率，即根据原有的低帧率序列产生一系列新图像插入到原来的序列中，实现从低帧率到高帧率的转换，典型的如30帧/秒向60帧/秒的转换，内插后出现的运动抖动和模糊现象一直是研究热点。

国内外学者对立体视频帧率提升做了大量研究，刘玉涛(2013)等人提出了基于深度和立体视频的运动矢量细化方法。首先，建立深度限制的双向运动估计模型，然后采用深度导向的运动矢量滤波对运动矢量场进行处理。在原有的双向估计的基础上加上深度限制后，运动估计产生的运动矢量场更为准确，最后，通过相邻块的深度信息修正运动矢量，优化后的运动矢量提高了运动矢量的准确性，在一定程度上提升了内插序列的质量，但是运动模的现象仍然未被消除。Lee(2013)等人提出了一种保留物体边界的立体视频帧率提升算法，首先用彩色序列和深度序列来运动估计并细化运动矢量，然后用双向运动估计来避免空洞现象，该方法在一定程度上提高了视频的质量，但是运动模的现象仍然很明显。杨晓晖(2014)用标准差的方法将深度图分为深度连续区域和深度不连续区域，并假设深度连续区域为背景，深度不连续区域为物体运动区域，然后对连续区域进行异常值的检测和纠正，对不连续区域采用单向插帧，运动物体边缘得到了改善，但是该方法的块效应现象较为突出。

上述帧率提升方法存在相同的缺陷，即得到内插序列都有明显的块效应和运动模糊现象。Jacobson将显著性信息用到二维视频的帧率提升中，本发明将显著性应用到立体视频中，刘玉涛提出了深度限制的双向运动估计，但是遮挡区域该方法还是有缺陷，对此，本发明提出了结合双向运动估计和前向运动估计的深度约束双重运动估计方法。运动矢量场的低准确度直接导致了块效应和运动模糊现象，针对立体视频而言，如何有效的利用深度序列来进行估计，并且如何利用显著性来对运动矢量场进行修正是本发明的主要工作。

发明内容

针对上述问题，本发明提出了一种结合显著性和深度信息的立体视频帧率提升的方法，该方法利用立体视频的显著性对运动矢量场精细化处理，改善了内插帧的质量。

为实现上述目的，本发明采用如下技术方案：

一种基于显著性检测的立体视频帧率提升方法，其特征在于，包括以下步骤：

a.对于所述的立体视频，通过显著性检测，获取显著图S；

b.根据获得的显著图S，对运动矢量进行优化，具体为：将显著图S划分为显著区域和非显著区域，分别对显著区域和非显著区域运动矢量进行优化；

c.根据步骤b中获得的优化后的运动矢量，采用重叠块运动补偿的方法进行插帧。

进一步的，步骤a中所述获取显著图S的具体方法为：

a1.将彩色图像进行超像素分割，得到N个超像素区域，标记为R＝{R₁,R₂,...,R_i,...,R_n}，根据如下公式6获取初级显著图S(i)：

S(i)＝1-Norm(V(_i)+E(_i)) (公式6)

其中，V(i)为超像素块的空间差异，E(i)为超像素块到图像中心的欧氏距离，Norm为归一化函数，使得V(i)+E(i)的区间为0到1；V(i)可通过如下公式3计算：

其中，ω_ij为超像素块R_i与R_j的相似度，n_j是第j超像素块的像素个数，b_j＝[b_j^x,b_j^y]是超像素块R_j的质心，μ_j＝[μ_j^x,μ_j^y]是超像素块R_j与邻近超像素块的空间均值；ω_ij可通过如下公式2计算：

其中，c_i和c_j分别表示超像素块R_i和R_j的像素平均值，取σ＝0.05；