[发明专利]一种基于视点间关系的多视点视频帧插入方法

权利要求书

1.一种基于视点间关系的多视点视频帧插入方法，其特征是：包括以下步骤：

（1）运动估计：根据上一帧图像和当前帧图像，分别以当前帧和上一帧图像为参考帧，利用单向运动估计算法进行运动向量估计，分别得到前向运动向量场和后向运动向量场；

（2）遮挡检测：基于所述前向运动向量场和后向运动向量场，利用深度信息检测出上一帧图像中的遮挡图像块和当前帧图像中的遮挡图像块，并将这些遮挡图像块分成覆盖型图像块和非覆盖型图像块两类；

（3）遮挡区域处理：利用多视点视频视点间的关系，采用取深度值最小的参考像素的赋值给虚拟视点像素的方法生成背景可见的虚拟视点视频帧，进行遮挡图像块的处理；

（4）运动向量分配和帧插入：对插入帧中的每个图像块进行运动向量分配，利用双向运动补偿进行插入帧中图像块的重建，实现帧插入。

2.如权利要求1所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：在所述步骤（1）中，所述前向运动向量场的获取方法为：

将上一帧图像分成尺寸相等的图像块，以当前帧图像为参考帧，利用单向运动向量估计算法计算出上一帧图像中每个图像块的运动向量，得到前向运动向量场。

3.如权利要求2所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：在所述步骤（1）中，所述后向运动向量场的获取方法为：

将当前帧图像分成尺寸相等的图像块，以上一帧图像为参考帧，利用单向运动向量估计算法计算出当前帧图像中每个图像块的运动向量，得到后向运动向量场。

4.如权利要求1所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：在所述步骤（2）中，具体包括以下步骤：

（2-1）分别将上一帧图像和当前帧图像中的图像块分为遮挡图像块和非遮挡图像块两类；

（2-2）：分别将上一帧图像和当前帧图像中的遮挡图像块分为覆盖型图像块和非覆盖型图像块两类。

5.如权利要求4所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：所述步骤（2-1）中区分遮挡图像块和非遮挡图像块的具体方法为：

（2-1-1）：根据上一帧图像和当前帧图像中每个图像块具有对应的深度块，分别计算每个所述深度块深度值的标准差；

（2-1-2）：根据所述步骤（2-1-1）中的每个所述深度块深度值的标准差与设定阈值大小关系区分为遮挡图像块和非遮挡图像块两类。

6.如权利要求4所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：所述步骤（2-2）区分覆盖型图像块和非覆盖型图像块的具体方法为：

（2-2-1）：计算遮挡图像块的运动向量，同时利用遮挡图像块对应的深度块计算遮挡图像块的深度分布向量；

（2-2-2）：根据所述步骤（2-2-1）中计算的遮挡图像块的运动向量和遮挡图像块的深度分布向量的乘积是否大于0区分为覆盖型图像块和非覆盖型图像块。

7.如权利要求1所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：在所述步骤（3）中，具体包括以下步骤：

（3-1）对上一帧图像和当前帧图像中的覆盖型图像块和非覆盖型图像块进行四叉树分割，得到子图像块；

（3-2）利用相邻视点视频帧，采用取深度值最小的参考像素的赋值给虚拟视点像素的基于深度图像渲染的视点合成方法，得到背景可见的虚拟视点视频帧；

（3-3）根据深度信息，将所述步骤（3-1）得到的子图像块分为前景子图像块和背景子图像块两类；

利用不同块匹配准则，分别计算上一帧图像前景子图像块和背景子图像块、当前帧图像前景子图像块和背景子图像块的运动向量。

8.如权利要求7所述的一种基于视点间关系的多视点视频帧插入方法，其特征是：所述步骤（3-3）中，区分前景子图像块和背景子图像块的具体方法为：

（3-3-1）：计算所述步骤（3-1）中所述子图像块对应深度值的最大深度值，

以及所述子图像块的初始母图像块对应深度值的平均深度值；

（3-3-2）：根据所述步骤（3-3-1）中的所述最大深度值和所述平均深度值的关系区将所述子图像块分为前景子图像块和背景子图像块。