[发明专利]一种基于双目多维感知特性的立体视频显著性检测方法

说明书

技术领域

本发明属于视频图像处理技术领域，具体涉及一种基于双目多维感知特性的立体视频显著性检测方法。

背景技术

三维(Three-Dimension，3D)视频由于其左右视点图像之间存在视差，能带给观众身临其境的体验感和更高的逼真度，是目前正在着重发展的新一代视频服务技术。但是人类视觉研究表明，由于眼球的聚焦功能，人眼不能同时感知3D视频中的近处物体和远处物体，必须聚焦于某一区域，导致人类的3D视觉选择性比2D视觉选择性更强，表现在3D视频上其区域显著性更突出。3D视频显著性计算模型对于场景中物体的计算与识别，立体图像/视频压缩，立体图像/视频的质量评估，以及视觉导航等研究领域都具有重要的指导意义。

传统的显著性检测模型大部分是基于图像的颜色，亮度，方向，纹理等空间特性而采用不同的算法进行显著性检测，但这些传统模型方法无法有效的检测出立体视频的显著区域，一方面由于大部分的传统检测模型没有计算时域上的显著特性，而相邻帧之间的运动是影响着人眼视觉注意力的重要特征之一，而运动特征的检测常用的方法有帧差法、背景建模法以及光流法等。帧差法较为简单，但准确率较低，背景建模法受背景模型的影响较大会导致检测不稳定，而光流法的算法复杂度高；另一方面，传统的检测模型没有计算深度信息对立体视频的显著特性的影响，检测不够准确，因为深度信息是反映物体距离人眼的远近，是立体视频的重要感知特征之一。

鉴于上述现状，需要对传统的显著性模型检测进行改进，采取简单有效的方法对立体视频的空间、深度以及运动三个不同维度的视图信息进行显著性计算，并且准确的检测出立体视频的显著区域。

发明内容

本发明的目的就是提供一种基于双目多维感知特性的立体视频显著性检测方法。

本发明方法包括显著特征提取和显著特征融合。

所述的显著特征提取是从立体视频的空间、深度以及运动三个不同维度的视图信息分别进行显著性计算，具体包括三部分：二维静态显著区域检测、深度显著区域检测、运动显著区域检测。其中：

二维静态显著区域检测：根据Bayesian模型计算单张彩色图像的空间特征的显著性，检测出彩色图像的二维静态显著区域，具体是：

通过计算单点的感兴趣概率的方法来估计物体的显著程度S_Z：

式中z表示图像中的某个像素点，p表示相应的概率值，随机变量F表示一个点像素的视觉特征值，随机变量L表示一个像素点的坐标位置；二元随机变量C表示该点像素是否为目标像素，C＝1表示为目标像素，C≠1表示不是目标像素；f_z和l_z分别表示注视在z点时的视觉特征值以及相应的像素坐标位置；假设在C＝1的情况下，该点的视觉特征与空间位置是相互独立的，即有：

为了在一张图像中方便比较该点的显著概率，将上式进行对数化：

logs_z＝-logp(F＝f_z)+logp(F＝f_z|C＝1)+logp(C＝1|L＝l_z)；

式中第一项-logp(F＝f_z)表示该像素点特征的自信息量，只依赖于z的视觉特征，独立于任何先验信息；第二项logp(F＝f_z|C＝1)表示对数似然函数项，用来表示目标的先验信息，因为该项更多的取决于人体的主观因素无法准确的计算，所以一般计算中可以忽略；第三项logp(C＝1|L＝l_z)表示独立于视觉特性，反映目标可能出现位置的先验信息，一般情况下，我们并不知道目标位置的先验信息，则也可以忽略。因此，上式简化为：logS_z＝-logp(F＝f_z)，即计算二维静态的整体显著性只需要考虑单点像素的自信量，通过计算图像各像素点的显著程度S_Z从而获取二维静态显著图SM_image。

深度显著区域检测的具体步骤是：

①采用DERS(depth estimation reference software)软件根据输入的第k帧左视点图和右视点图计算出该帧的视差图，其中视差值d∈[0,255]；