[发明专利]一种基于场景分类和几何标注的单视点视频深度获取方法

说明书

技术领域

本发明涉及一种基于场景分类和几何标注的单视点视频深度获取方法，属于计算机图像处理技术领域。

背景技术

目前立体图像技术应用范围很广，分布在科研、军事、教育和医疗各个领域。相比于2D图像，立体图像带给我们更逼真更震撼的视觉享受。目前3D片源的获取主要有几种方式：深度摄像机、2D转3D技术。但是，深度摄像机非常昂贵，并且只能得到新拍摄视频的3D内容，在3DTV系统中不实用，解决这个问题的一种有效的途径就是2D转3D技术，因为目前存在大量的2D视频，2D转3D技术有非常好的发展前景。2D转3D技术是指将普通的2D图像，通过图像或图像之间的相关信息，获得3D左右眼的深度图像。原图像和深度图像通过基于深度图的虚拟绘制技术(DIBR)生成左视图图像和右视图图像，因为人眼存在的视差，当左视图和右视图分别进入到人的左右眼时，便生成了立体图像。

2D视频场景根据场景中目标和相机运动情况不同可分成四种情况：相机运动、物体静止，相机静止、物体运动，相机静止、物体静止，相机运动、物体运动。对于这些场景可以采用运动、聚焦、散焦、线性透视、大气透视、纹理信息等深度线索或深度线索的结合得到对应的深度图，但是，这些方法有的只是适用于某一种场景，当场景变换时，该方法便不再适用。

发明内容

针对现有技术的不足，本发明公开了一种基于场景分类和几何标注的单视点视频深度获取方法；

本发明针对相机静止物体运动、相机运动物体静止和相机运动物体运动这三种情况下的视频都能得到对应的深度图像，将现有的2D视频转换成立体视频。

本发明得到能适应多种场景变换，精度较高并且计算量适中的深度图像，从而进一步生成质量较好的3D视频。

本发明的技术方案为：

术语解释

1、光流法，是一种简单实用的图像运动的表达方式，通常定义为一个图像序列中的图像亮度模式的表观运动，即空间物体表面上的点的运动速度在视觉传感器的成像平面上的表达；

2、全局运动补偿，为了弥补由于摄像机移动造成的背景全局性的运动对图像中运动目标检测造成的影响，常采用基于全局运动补偿思想的检测方法。该方法的思路是先对由摄像机移动引起的背景运动进行运动补偿，使得补偿后的图像序列可以近似认为是静态背景图像序列，然后再利用静态背景中运动目标的检测方法进行检测。

3、深度图，场景中各点相对于摄像机的距离可以用深度图来表示，即深度图中每一个像素值表示场景中某一点到摄像机的距离。深度图中像素的值越大，场景中的物体离摄像机越近，像素值越小，场景中的物体离摄像机越远。

一种基于场景分类和几何标注的单视点视频深度获取方法，具体步骤包括：

(1)读取视频序列，采用光流法对视频序列中相邻帧图像进行运动估计，得到光流运动矢量结果，根据光流运动矢量结果判断当前帧图像属于相机静止物体运动场景还是属于相机运动场景，所述相机运动场景包括相机运动物体静止场景和相机运动物体运动场景；

(2)判断是否需要估计当前帧图像的初始深度图，如果需要，进入步骤(3)，否则，当前帧图像的初始深度图默认为当前帧图像的前一帧图像的初始深度图，直接进入步骤(4)；

(3)根据当前帧图像的几何标注结果求出当前帧图像的初始深度图；

(4)如果当前帧图像属于相机静止物体运动场景，采用光流法得到当前帧图像的运动深度图，与当前帧图像的初始深度图融合；如果当前帧图像属于相机运动场景，首先进行全局运动补偿，然后利用光流法对全局运动补偿后的相邻帧图像进行运动估计，得到运动估计量级图，根据运动估计量级图中非零像素所占的比例来判断场景中是否存在运动物体，如果存在运动物体，将全局运动补偿后的运动估计量级图线性变换得到的运动深度图，运动深度图与初始深度图融合得到最终深度图，如果不存在运动物体，将全局运动补偿前的运动估计量图线性变换得到的运动深度图作为最终深度图。

根据本发明优选的，所述步骤(1)中，读取视频序列，采用光流法对视频序列中相邻帧图像进行运动估计，得到光流运动矢量结果，根据光流运动矢量结果判断当前帧图像属于相机静止物体运动场景还是属于相机运动场景；具体步骤包括：