[发明专利]一种视频帧深度图的生成方法及系统

说明书

技术领域

本发明涉及计算机多媒体技术领域，特别地，涉及一种在平面视频转化为立体视频时，视频序列中视频帧深度图的生成方法及系统。

背景技术

立体视频，相对于现在广为应用的平面视频，可以给用户提供视频中场景的深度信息，使用户能够通过视频看到与真实世界几乎完全一致的景象，产生巨大的真实感和临场感。由于这一优势，立体视频正在全世界范围内，在多个行业中得到越来越多的推广和青睐。

随着立体视频技术的发展，立体视频的片源制作受到人们的极大关注。将平面视频转化为立体视频的技术手段，因为丰富的平面视频素材以及平面视频良好的兼容性，而成为获得立体视频片源的重要方法。

将平面视频转化为立体视频，首先要获取原平面视频序列中每帧的深度信息，生成对应的深度图，来反映视频帧中的图像像素所表示的空间点到摄像机或观察者的距离，再由一张张深度图组成深度序列；其次利用深度序列，将原视频序列变形，得到一路新的视频序列。新视频序列与原视频序列一起，构成了立体视频的二维序列，将两个序列通过一定的显示技术，被人眼观测，从而实现立体感知。因此，如何获取原平面视频序列中每帧的深度信息，进而生成深度图，成为平面视频转化为立体视频中至关重要的技术。目前已经有一些方法尝试解决这一问题：

全自动的深度图生成方法，该方法根据原视频序列的图像纹理、运动等信息进行深度图的获取。

半自动的深度图生成方法，该方法通过人机交互，由操作人员人借助经验在视频帧图像中分辨目标及相关深度，通常是由操作人员使用相关软件，在图像中需要分配深度的每个目标的轮廓周围勾画，并用决定距观察者的深度或距离的灰色阴影来对目标物体填充或“着色”，该过程将随后对图像中的每个目标进行重复，进而生成视频帧对应的深度图，这样生成的深度图一般比较准确，可以实现真实的立体效果。

但是，对于全自动的深度图生成方法，由于纹理、运动等信息与深度值并没有必然的联系，使得这种方法无法获得准确的深度图。

对于半自动的深度图生成方法，由于一般视频的帧率都在20帧每秒以上，如果对一段视频中的每一帧都进行人机交互来获取深度图，那么工作量将异常繁重，这不仅会延长立体视频的制作周期，而且会增加制作成本。

因此，需要本领域技术人员迫切解决的一个技术问题就是：如何能够减少人工生成视频帧深度图的数量，缩短立体视频的制作周期，同时获得较为准确的视频帧的深度图。

发明内容

本发明所要解决的技术问题是提供一种视频帧深度图的生成方法及系统，能够减少人工生成视频帧深度图的数量，缩短立体视频的制作周期，同时获得较为准确的视频帧的深度图。

为了解决上述问题，本发明公开了一种视频帧深度图的生成方法，包括在视频序列的连续视频帧中选取关键帧，并获取关键帧的深度图，该方法还包括以下步骤：

提取视频序列中连续帧上的特征点；

确定连续帧上各特征点的匹配关系；

计算在连续帧上相匹配的特征点之间的运动距离；

依据所述相匹配的特征点之间的运动距离以及关键帧的深度图，确定相应特征点在所属非关键帧中的深度值；

对所述非关键帧进行深度赋值，进而获得连续帧中各视频帧的深度图。

进一步，所述确定连续帧上各特征点的匹配关系，具体包括以下步骤：

选取连续帧中某一帧作为基准帧，以基准帧的各特征点作为待匹配特征点；

在该基准帧的相邻帧上划定与各特征点相应的匹配特征点存在区域；

计算相邻帧上所述各区域内的特征点与相应待匹配特征点之间的相似度；

选取相邻帧上所述各区域内相似度符合预置条件的特征点作为匹配特征点；

以所述相邻帧作为基准帧，重复前述步骤，获得连续帧上各特征点的匹配关系。

优选的，所述确定连续帧上各特征点的匹配关系，进一步包括以下验证步骤，

以所述相邻帧上的各匹配特征点作为待匹配特征点，在所述基准帧上划定相应的匹配特征点存在区域；

计算基准帧上所述各区域内的特征点与相邻帧上的相应待匹配特征点之间的相似度；

选取基准帧上所述各区域内相似度符合预置条件的特征点作为匹配特征点；

验证基准帧上的匹配特征点与所述基准帧的各特征点是否对应，若对应，则所述相邻帧上的匹配特征点与基准帧上的各特征点相互匹配。

进一步，所述匹配特征点存在区域为以某视频帧上的一待匹配特征点在相邻的视频帧上的对应坐标为中心，以2T个像素为边长所形成的矩形区域，其中，T的范围为10～30。

进一步，所述预置条件为：