[发明专利]一种基于卷积神经网络的时空一致性深度图序列的生成方法

摘要

本发明公开了一种基于卷积神经网络的时空一致性深度图序列的生成方法，可用于影视作品2D转3D技术。该方法包括1)收集训练集训练集的每一个训练样本是一个连续RGB图像序列以及其对应的深度图序列；2)对训练集中的每一个图像序列进行时空一致性超像素分割，并且构建空间相似度矩阵和时间相似度矩阵；3)构建由单一超像素深度回归网络以及时空一致性条件随机场损失层构成的卷积神经网络；4)对卷积神经网络进行训练；5)对未知深度的RGB图像序列，使用训练好的神经网络通过前向传播恢复深度图序列。本发明避免了基于线索的深度恢复方法对场景假设依赖过强，以及现有基于卷积神经网络的深度恢复方法生成的深度图帧间不连续的问题。

主权项

一种基于卷积神经网络的时空一致性深度图序列的生成方法，其特征在于，包括下列步骤：1)收集训练集。训练集的每一个训练样本是一个包含m帧的连续RGB图像序列，以及其对应的深度图序列；2)对训练集中的每一个图像序列进行时空一致性超像素分割，并且构建空间上的相似度矩阵S(s)和时间上的相似度矩阵S(t)；3)构建卷积神经网络，该神经网络由包含参数W的单一超像素深度回归网络，以及包含参数α的时空一致性条件随机场损失层构成。4)利用训练集中的RGB图像序列和深度图序列对步骤3)中构建的卷积神经网络进行训练，得出网络参数W和α。5)对未知深度的RGB图像序列，使用训练好的神经网络通过前向传播恢复深度图序列。