[发明专利]基于卷积神经网络的宽基线多视点视频合成方法

摘要

一种基于卷积神经网络的宽基线多视点视频合成方法。该方法的目的是提取周围视点纹理图和深度图的特征并通过预测可分离的空间自适应卷积核进行多视点视频内容的合成。该方法设计了一种新的卷积神经网络模型。该模型用两个分支完成对深度图和纹理图特征的提取和融合，用一组独立的子网络进行可分离的空间自适应卷积核预测，最后将得到的卷积核与输入的纹理图作局部卷积完成视点合成。该方法合理利用深度信息引导自适应卷积核的预测，在宽基线和复杂场景下能够保持良好的效果。

主权项

1.一种基于卷积神经网络的宽基线多视点视频合成方法，其特征在于利用神经网络同时考虑参考视点深度图和纹理图的高维向量预测自适应卷积核，所述方法包括如下步骤：a.输入参考视点的深度图和纹理图：从视频中得到两个参考视点同一时刻对应的深度图和纹理图的4帧图像导入卷积神经网络模型；b.特征提取和融合：用卷积神经网络模型的两个分支即深度分支和纹理分支分别对输入的深度图和纹理图进行处理，并在向后传播的过程中将深度分支的特征向量融合到纹理分支；c.可分离卷积核预测：用一组子网络根据融合了纹理和深度信息的特征向量为每个输出像素预测一组空间自适应的卷积核；d.合成新视图：将得到的卷积核作用到参考视点的输入纹理图的对应区域，生成目标图像的像素值。