[发明专利]一种基于全卷积神经网络的电影2D转3D方法

权利要求书

1.一种基于全卷积神经网络的电影2D转3D方法，其特征在于，该方法包括如下步骤：

(1)提取拍摄的电影2D视频中的每一帧2D图像；

(2)对每一帧2D图像分别采用全卷积神经网络提取特征值并计算深度值；

(3)对每一帧2D图像分别根据其深度值进行着色生成对应的3D图像；

(4)将所有3D图像依次整合形成3D电影。

2.根据权利要求1所述的一种基于全卷积神经网络的电影2D转3D方法，其特征在于，所述的步骤(2)包括如下子步骤：

(201)将2D图像分隔成超像素，形成超像素图像；

(202)对超像素图像进行处理和计算得到所述的2D图像的一元部分输出和二元部分输出；

(203)根据2D图像的一元部分输出和二元部分输出进行深度估计得到深度值。

3.根据权利要求2所述的一种基于全卷积神经网络的电影2D转3D方法，其特征在于，步骤(202)中具体为：

(a)将超像素图像输入至全卷积神经网络，得到多个卷积特征图；

(b)将卷积特征图进行超像素池化，进而得到该2D图像的一元部分输出；

(c)对超像素图像进行计算得到二元部分输出。

4.根据权利要求3所述的一种基于全卷积神经网络的电影2D转3D方法，其特征在于，所述的全卷积神经网络包括多个依次级联的特征提取基本单元，每个特征提取单元包括依次连接的卷积层和池化层。

5.根据权利要求3所述的一种基于全卷积神经网络的电影2D转3D方法，其特征在于，步骤(b)中超像素池化具体操作为：首先在卷积特征图上进行上采样操作，使得卷积特征图大小与原始2D图像大小相同，然后，对经过上采样操作后的卷积特征图中的每个超像素区域分别计算特征值的平均值，得到n维特征向量，n为超像素区域的个数，最后，将n维特征向量输入到一元部分计算单元进行计算得到一元部分输出矩阵Z，Z为n维行向量，向量中第p个元素记作Z_p，Z_p表示第p个超像素区域的一元部分计算值，p＝1,2，……n。

6.根据权利要求5所述的一种基于全卷积神经网络的电影2D转3D方法，其特征在于，步骤(c)具体为：

对于第i个超像素区域，考虑所有与其相邻的所有超像素区域，设其中一个与第i个超像素区域相邻的超像素区域记作第j个超像素区域，分别计算第i个超像素区域和第j个超像素区域之间的K种相似度，得到相似度向量其中i＝1,2，……n，对每个超像素区域进行上述操作得到相似度向量，最后将所有相似度向量输入到二元部分计算单元计算得到二元部分输出矩阵R，R为n*n维矩阵，其第p行第q列元素记作R_pq，R_pq表示第p个超像素区域相对于第q个超像素区域的二元部分计算值，p＝1,2，……n，q＝1,2，……n，n为超像素区域的个数。

7.根据权利要求6所述的一种基于全卷积神经网络的电影2D转3D方法，其特征在于，所述的一元部分计算单元和二元部分计算单元均包括多个依次连接的全连接层。

8.根据权利要求6所述的一种基于全卷积神经网络的电影2D转3D方法，其特征在于，步骤(203)具体为：

根据下式求取深度值：

y＝(I+D-R)^-1Z，

其中y为深度值矩阵，I为n*n维单位阵，D为n*n对角矩阵，其对角元素记作D_pp，p＝1,2，……n，y为n维行向量，y中的第i个元素记作y_i，y_i表示第i个超像素区域的深度值，i＝1,2，……n，n为超像素区域的个数。

9.根据权利要求3所述的一种基于全卷积神经网络的电影2D转3D方法，其特征在于，所述的全卷积神经网络为针对不同场景下的全卷积神经网络，所述的不同场景包括室内、室外、白天和夜晚，在进行2D图像转3D图像时，根据该图像选择对应场景下的全卷积神经网络。