[发明专利]一种虚拟视点的视频生成方法、装置及设备

权利要求书

1.一种虚拟视点的视频生成方法，包括：

接收左视点视频和右视点视频；

针对左视点视频和右视点视频的每一帧执行以下处理：

获取左视点图像和右视点图像，

根据左视点图像和右视点图像，生成左视点光流金字塔和右视点光流金字塔，

根据左视点光流金字塔和右视点光流金字塔，生成从左视点到右视点的第一光流图和从右视点到左视点的第二光流图，

根据第一光流图和第二光流图，将左视点图像和右视点图像重映射到预定的虚拟视点，得到第一重映射图像和第二重映射图像，

对第一重映射图像和第二重映射图像进行图像融合，得到虚拟视点图像；

根据针对左视点视频和右视点视频的所有帧得到的虚拟视点图像，生成虚拟视点的视频，

其中，生成从左视点到右视点的第一光流图和从右视点到左视点的第二光流图的步骤包括：

分别计算左视点光流金字塔的最高层光流和右视点光流金字塔的最高层光流；

分别根据左视点光流金字塔的最高层光流和右视点光流金字塔的最高层光流，计算左视点光流金字塔和右视点光流金字塔的其他各层光流；

分别对左视点光流金字塔和右视点光流金字塔的各层光流进行迭代优化；

根据经过迭代优化的左视点光流金字塔和右视点光流金字塔的各层光流，生成第一光流图和第二光流图，

其中，分别对左视点光流金字塔和右视点光流金字塔的各层光流进行迭代优化的步骤包括：

针对左视点光流金字塔和右视点光流金字塔的每一层，在奇数次迭代优化过程中，对每个图像块，根据当前图像块在第一预设方向上的位置邻近图像块的光流对当前图像块的光流进行校正；

在偶数次迭代优化过程中，对每个图像块，根据当前图像块在第二预设方向上的邻近图像块的光流对当前图像块的光流进行校正。

2.根据权利要求1所述的方法，其中，所述左视点视频包括左视点全景视频，所述右视点视频包括右视点全景视频。

3.根据权利要求2所述的方法，其中，生成左视点光流金字塔和右视点光流金字塔的步骤包括：

对左视点图像和右视点图像进行图像预处理；

根据经过所述图像预处理的左视点图像和右视点图像，生成左视点光流金字塔和右视点光流金字塔。

4.根据权利要求3所述的方法，其中，图像预处理包括对左视点全景图像和右视点全景图像进行全景展开。

5.根据权利要求1所述的方法，其中，分别计算左视点光流金字塔的最高层光流和右视点光流金字塔的最高层光流的步骤包括：

针对左视点光流金字塔的最高层图像的每个参考块，根据块匹配算法在右视点光流金字塔的最高层图像的与参考块相应的搜索空间中搜索与参考块最匹配的图像块，并根据每个参考块与搜索到的最匹配的图像块之间的位移确定左视点光流金字塔的最高层光流；

针对右视点光流金字塔的最高层图像的每个参考块，根据块匹配算法在左视点光流金字塔的最高层图像的与参考块相应的搜索空间中搜索与参考块最匹配的图像块，并根据每个参考块与搜索到的最匹配的图像块之间的位移确定右视点光流金字塔的最高层光流。

6.根据权利要求1所述的方法，其中，计算左视点光流金字塔和右视点光流金字塔的其他各层光流的步骤包括：

在左视点光流金字塔和右视点光流金字塔中，分别从左视点光流金字塔的最高层和右视点光流金字塔的最高层开始，依次根据当前层光流计算下一层的光流，直至计算出左视点光流金字塔的最底层光流和右视点光流金字塔的最底层光流。

7.根据权利要求1所述的方法，其中，还包括：

对左视点图像和右视点图像进行运动检测，得到运动检测的结果。