[发明专利]基于卷积神经网络的宽基线多视点视频合成方法

说明书

一种基于卷积神经网络的宽基线多视点视频合成方法。该方法的目的是提取周围视点纹理图和深度图的特征并通过预测可分离的空间自适应卷积核进行多视点视频内容的合成。该方法设计了一种新的卷积神经网络模型。该模型用两个分支完成对深度图和纹理图特征的提取和融合，用一组独立的子网络进行可分离的空间自适应卷积核预测，最后将得到的卷积核与输入的纹理图作局部卷积完成视点合成。该方法合理利用深度信息引导自适应卷积核的预测，在宽基线和复杂场景下能够保持良好的效果。

技术领域

本发明属于图像和视频处理技术领域，特别涉及到一种基于卷积神经网络的多视点视频的合成方法。

背景技术

多视点合成技术，致力于利用周围相机视点的内容渲染合成目标视点内容。三维立体显示因为可以给用户带来沉浸式的视觉体验而备受工业界和学术界的关注。真实的视觉感受是以大量的数据内容为代价的，这给现实中视频的采集和传输带来很大挑战。多视点视频是三维视频的主流表示方法，多视点合成技术可以在降低三维视频数据量的同时保证用户在任意视点都能观看到高质量的影像。虽然已有不少多视点合成技术被提出，但合成视图的质量仍无法满足实际需求，特别是在两视点之间距离大、场景复杂的情况下，现有技术无法达到令人满意的效果。

传统基于图像的视点合成方法通常先利用已知视点的纹理图、深度图和相机内外参数进行三维变换将参考视点的像素投影到目标视点，之后再进行空洞填补。这种方法绘制的结果是：像素在目标视点的位置较为准确，但是图像连续性不强，普遍存在空洞和重叠效应。国际标准化组织MPEG发布的三维视频虚拟视点合成标准测试软件VSRS就是以这种方法为基础。

最近，随着深度学习在图像和视频处理中的快速发展，卷积神经网络(CNN)和生成对抗网络(GAN)也被用来生成新视点图片。加州伯克利大学的T.Zhou等人提出通过学习场景信息来对同一物体或场景进行新视图的合成，香港中文大学的Ziwei Liu等人构建了基于体素的深度神经网络模型来进行视频插帧。这些方法能够较好地合成刚体或者半刚体等简单纹理对象的新视图，但在对运动物体或拥有丰富细节的可形变对象建模时常常会失败。

波特兰州立大学的Nikaus等人提出了几种基于CNN的连续视频帧间视点合成的方法，特别是他们在2017年ICCV发表的论文“Video frame interpolation via adaptiveseparable convolution”中提出的通过预测可分离自适应卷积核来进行图像渲染的方法，推动了深度学习算法在视频插帧领域的应用。但这几种插帧方法只限于单个视频，不能考虑不同相机视点之间的相关性，更没有考虑在视点合成中具有关键作用的深度信息。虽然它们在帧间视点合成中取得了不错的成果，但在宽基线条件下当参考图像之间像素差异变大时，依然无法合成高质量的虚拟视图。综上所述，这些方法都不能直接用在宽基线的多视点视频合成中。

发明内容

本发明目的是解决现有视点合成方法存在的无法在宽基线条件下合成高质量视图的问题，提出一种能同时利用高维深度和纹理信息进行视点合成的方法。该方法只要输入两个参考视点的深度图和纹理图，系统就能够合成高质量的虚拟视图。

本发明的技术方案

基于卷积神经网络的宽基线多视点视频合成方法，该方法提出了一种改进的卷积神经网络模型，所述模型用两个分支即深度分支和纹理分支完成参考视点的深度图和纹理图的特征提取和融合，用一组独立的子网络进行可分离的空间自适应卷积核预测，最后将得到的核与输入的纹理图作局部卷积完成视点的合成，具体包含以下步骤：

a.输入参考视点的深度图和纹理图：从视频中得到两个参考视点同一时刻对应的两张深度图和两张纹理图，并将该4帧图像导入卷积神经网络模型；

b.特征提取和融合：用卷积神经网络模型的两个分支即深度分支和纹理分支对输入的深度图和纹理图进行处理，并在向后传播的过程中将深度分支输出的深度特征向量融合到纹理分支输出的纹理特征向量中；