[发明专利]基于卷积神经网络的宽基线多视点视频合成方法

权利要求书

1.一种基于卷积神经网络的宽基线多视点视频合成方法，其特征在于利用神经网络同时考虑参考视点深度图和纹理图的高维向量预测自适应卷积核，所述方法包括如下步骤：

a.输入参考视点的深度图和纹理图：从视频中得到两个参考视点同一时刻对应的两张深度图和两张纹理图，并将该4帧图像导入卷积神经网络模型；

b.特征提取和融合：用卷积神经网络模型的两个分支即深度分支和纹理分支分别对输入的深度图和纹理图进行处理，并在向后传播的过程中将深度分支输出的深度特征向量融合到纹理分支输出的纹理特征向量；

c.可分离卷积核预测：用一组子网络根据融合了纹理和深度信息的特征向量为每个输出像素预测一组空间自适应的卷积核；

d.合成新视图：将得到的卷积核作用到参考视点的输入纹理图的对应区域，生成目标图像的像素值。

2.根据权利要求1所述的基于卷积神经网络的宽基线多视点视频合成方法，其特征在于：步骤b中所述将深度分支输出的深度特征向量融合到纹理分支输出的纹理特征向量的方法是，通过元素相加的方法将深度分支输出的深度特征向量融合到纹理特征向量中。

3.根据权利要求1所述的基于卷积神经网络的宽基线多视点视频合成方法，其特征在于：步骤c中所述卷积核预测方法是，卷积神经网络为每个输出像素预测4个空间自适应的1D卷积核，并用一对可分离的1D卷积核估计一个2D核。