[发明专利]一种多视点立体视频转换的方法及装置

说明书

【技术领域】

本发明涉及计算机视觉和视频处理技术领域，尤其涉及一种多视点立体视频转换的方法及装置。

【背景技术】

多视点立体视频是当前计算机视觉、图形学、图像视频处理等学科领域的研究热点，被广泛应用于影视制作、文物保护、军事模拟等领域。多视点立体视频在空域和时域上具备大量的冗余信息，可以用于显著提高平面视频的重建分辨率。因此，如何有效的从多视点立体视频中提取超分辨率的平面视频，是一个函待解决的关键问题。

现有的超分辨率视频重建技术多采用数学方程组来表示观测模型。其线性空域观测模型涉及全局和局部运动、光学模糊、帧内运动模糊、空间可变点扩散函数、非理想采样以及其它复杂的降质模型等内容。该重建技术主要包括非均匀空域样本内插法、迭代反投影方法、集合理论复原方法、统计复原方法、混合ML/MAP/POCS法、自适应滤波/维纳滤波/卡尔曼滤波方法等。

【发明内容】

现有从多视点立体视频中提取超分辨率平面视频的方法多采用直接截取某一视点的视图，然后通过插值的方法将该视点视图放大到原视频尺寸。该方法转换出的平面视频不仅清晰度不足，并且造成了空域和时域信息上的浪费。

为了克服现有技术的不足，本发明提供了一种多视点立体视频转换的方法及装置，以充分利用空域和时域信息，提高转换得到的平面视频的清晰度。

一种多视点立体视频转换的方法，包括如下步骤：

S1，选取立体视频第i帧所有视点的图像第i-1帧参考图像和第i+1帧参考图像作为第i帧的输入图像；其中，k表示第i帧视频的视点编号，K表示立体视频的视点个数，m₁和m₂表示图像的坐标，0≤k≤K-1；

S2，计算所述第i帧的输入图像中的每个图像分别相对于第i帧参考图像的像素位移量其中，x₀和y₀表示像素位移量的坐标，0≤k≤K+1；

S3，对所述第i帧参考图像进行插值，使所述第i帧参考图像在X和Y方向扩大a倍，得到第i帧的待重建图像的初始估计图像

S4,根据第i帧的输入图像、像素位移量和a，对待重建图像的当前估计图像进行降质处理，得到分别对应K+2幅输入图像的K+2幅模拟输入图像

S5，计算模拟输入图像与输入图像的误差值

若误差值小于设定的误差阈值，则将待重建图像的当前估计图像作为待重建图像的最终图像，否则，将待重建图像的当前估计图像更新为并重新执行步骤S4；其中，M₁×M₂表示图像的分辨率。

在一个实施例中，

在步骤S5中，利用输入图像与模拟输入图像的差值数据将待重建图像的当前估计图像更新为其中，

在一个实施例中，

将所述差值数据反投影到待重建图像的当前估计图像得到

在一个实施例中，

在步骤S2中，利用频域位移估计算法计算所述第i帧的输入图像中的每个图像分别相对于第i帧参考图像的像素位移量

在一个实施例中，

在步骤S3中，对所述第i帧参考图像进行双线性插值。

本发明还提供了一种多视点立体视频转换的装置，包括：

第一处理单元，用于选取立体视频第i帧所有视点的图像第i-1帧参考图像和第i+1帧参考图像作为第i帧的输入图像；其中，k表示第i帧视频的视点编号，K表示立体视频的视点个数，m₁和m₂表示图像的坐标，0≤k≤K-1；

第二处理单元，计算所述第i帧的输入图像中的每个图像分别相对于第i帧参考图像的像素位移量其中，x₀和y₀表示像素位移量的坐标，0≤k≤K+1；

第三处理单元，对所述第i帧参考图像进行插值，使所述第i帧参考图像在X和Y方向扩大a倍，得到第i帧的待重建图像的初始估计图像

第四处理单元，根据第i帧的输入图像、像素位移量和a，对待重建图像的当前估计图像进行降质处理，得到分别对应K+2幅输入图像的K+2幅模拟输入图像

第五处理单元，计算模拟输入图像与输入图像的误差值

若误差值小于设定的误差阈值，则将待重建图像的当前估计图像作为待重建图像的最终图像，否则，将待重建图像的当前估计图像更新为并重新执行步骤S4；其中，M₁×M₂表示图像的分辨率。