[发明专利]一种基于深度卷积神经网络的单目视觉深度估计方法

摘要

本发明公开了一种基于深度卷积神经网络的单目视觉深度估计方法，其先构建深度卷积神经网络，其包括输入层、隐层和输出层；隐层包括编码框架和译码框架；然后使用训练集中的单目图像作为原始输入图像，输入到深度卷积神经网络中进行训练，得到训练集中的每幅原始的单目图像对应的估计深度图像；接着通过计算训练集中的单目图像对应的估计深度图像与对应的真实深度图像之间的损失函数值，得到深度卷积神经网络训练模型及最优权值矢量和最优偏置项；再将待预测的单目图像输入到深度卷积神经网络训练模型中，并利用最优权值矢量和最优偏置项，预测得到对应的预测深度图像；优点是其预测精度高。

主权项

1.一种基于深度卷积神经网络的单目视觉深度估计方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤为：步骤1_1：选取N幅原始的单目图像及每幅原始的单目图像对应的真实深度图像，并构成训练集，将训练集中的第n幅原始的单目图像记为{Qⁿ(x,y)}，将训练集中与{Qⁿ(x,y)}对应的真实深度图像记为其中，N为正整数，N≥1000，n为正整数，1≤n≤N，1≤x≤R，1≤y≤L，R表示{Qⁿ(x,y)}和的宽度，L表示{Qⁿ(x,y)}和的高度，R和L均能被2整除，Qⁿ(x,y)表示{Qⁿ(x,y)}中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；步骤1_2：构建深度卷积神经网络：深度卷积神经网络包括输入层、隐层和输出层；隐层包括编码框架和译码框架；对于输入层，输入层的输入端接收一幅原始输入图像，输入层的输出端输出原始输入图像给隐层；其中，要求输入层的输入端接收的原始输入图像的宽度为R、高度为L；对于编码框架，其由依次设置的第一卷积层、第一批规范化层、第一激活层、第一最大池化层、第一conv_block网络块、第一identity_block网络块、第二identity_block网络块、第二conv_block网络块、第三identity_block网络块、第四identity_block网络块、第五identity_block网络块、第三conv_block网络块、第六identity_block网络块、第七identity_block网络块、第八identity_block网络块、第四conv_block网络块、第九identity_block网络块、第十identity_block网络块组成，其中，第一卷积层的卷积核大小为1×1、卷积核个数为32、卷积步长采用默认值，第一批规范化层的参数采用默认值，第一激活层的激活函数采用ReLu，第一最大池化层的池化步长为2×2，第一conv_block网络块中的融合层的第一个输入中的一个卷积层的卷积核大小为1×1、卷积核个数为128、卷积步长为1×1，第一conv_block网络块中的融合层的第二个输入中按序设置的第1个卷积层的卷积核大小为1×1、卷积核个数为64、卷积步长为1×1，第一conv_block网络块中的融合层的第二个输入中按序设置的第2个卷积层的卷积核大小为3×3、卷积核个数为64、卷积步长采用默认值，第一conv_block网络块中的融合层的第二个输入中按序设置的第3个卷积层的卷积核大小为1×1、卷积核个数为128、卷积步长采用默认值，第一identity_block网络块和第二identity_block网络块各自中的融合层的第二个输入中按序设置的第1个卷积层的卷积核大小为1×1、卷积核个数为64、卷积步长为采用默认值，第一identity_block网络块和第二identity_block网络块各自中的融合层的第二个输入中按序设置的第2个卷积层的卷积核大小为3×3、卷积核个数为64、卷积步长采用默认值，第一identity_block网络块和第二identity_block网络块各自中的融合层的第二个输入中按序设置的第3个卷积层的卷积核大小为1×1、卷积核个数为128、卷积步长采用默认值，第二conv_block网络块中的融合层的第一个输入中的一个卷积层的卷积核大小为1×1、卷积核个数为256、卷积步长为2×2，第二conv_block网络块中的融合层的第二个输入中按序设置的第1个卷积层的卷积核大小为1×1、卷积核个数为128、卷积步长为2×2，第二conv_block网络块中的融合层的第二个输入中按序设置的第2个卷积层的卷积核大小为3×3、卷积核个数为128、卷积步长采用默认值，第二conv_block网络块中的融合层的第二个输入中按序设置的第3个卷积层的卷积核大小为1×1、卷积核个数为256、卷积步长采用默认值，第三identity_block网络块、第四identity_block网络块和第五identity_block网络块各自中的融合层的第二个输入中按序设置的第1个卷积层的卷积核大小为1×1、卷积核个数为128、卷积步长为采用默认值，第三identity_block网络块、第四identity_block网络块和第五identity_block网络块各自中的融合层的第二个输入中按序设置的第2个卷积层的卷积核大小为3×3、卷积核个数为128、卷积步长采用默认值，第三identity_block网络块、第四identity_block网络块和第五identity_block网络块各自中的融合层的第二个输入中按序设置的第3个卷积层的卷积核大小为1×1、卷积核个数为256、卷积步长采用默认值，第三conv_block网络块中的融合层的第一个输入中的一个卷积层的卷积核大小为1×1、卷积核个数为512、卷积步长为2×2，第三conv_block网络块中的融合层的第二个输入中按序设置的第1个卷积层的卷积核大小为1×1、卷积核个数为256、卷积步长为2×2，第三conv_block网络块中的融合层的第二个输入中按序设置的第2个卷积层的卷积核大小为3×3、卷积核个数为256、卷积步长采用默认值，第三conv_block网络块中的融合层的第二个输入中按序设置的第3个卷积层的卷积核大小为1×1、卷积核个数为512、卷积步长采用默认值，第六identity_block网络块、第七identity_block网络块和第八identity_block网络块各自中的融合层的第二个输入中按序设置的第1个卷积层的卷积核大小为1×1、卷积核个数为256、卷积步长为采用默认值，第六identity_block网络块、第七identity_block网络块和第八identity_block网络块各自中的融合层的第二个输入中按序设置的第2个卷积层的卷积核大小为3×3、卷积核个数为256、卷积步长采用默认值，第六identity_block网络块、第七identity_block网络块和第八identity_block网络块各自中的融合层的第二个输入中按序设置的第3个卷积层的卷积核大小为1×1、卷积核个数为512、卷积步长采用默认值，第四conv_block网络块中的融合层的第一个输入中的一个卷积层的卷积核大小为1×1、卷积核个数为1024、卷积步长为2×2，第四conv_block网络块中的融合层的第二个输入中按序设置的第1个卷积层的卷积核大小为1×1、卷积核个数为512、卷积步长为2×2，第四conv_block网络块中的融合层的第二个输入中按序设置的第2个卷积层的卷积核大小为3×3、卷积核个数为512、卷积步长采用默认值，第四conv_block网络块中的融合层的第二个输入中按序设置的第3个卷积层的卷积核大小为1×1、卷积核个数为1024、卷积步长采用默认值，第九identity_block网络块和第十identity_block网络块各自中的融合层的第二个输入中按序设置的第1个卷积层的卷积核大小为1×1、卷积核个数为512、卷积步长采用默认值，第九identity_block网络块和第十identity_block网络块各自中的融合层的第二个输入中按序设置的第2个卷积层的卷积核大小为3×3、卷积核个数为512、卷积步长采用默认值，第九identity_block网络块和第十identity_block网络块各自中的融合层的第二个输入中按序设置的第3个卷积层的卷积核大小为1×1、卷积核个数为1024、卷积步长采用默认值；对于编码框架，第一卷积层的输入端接收输入层的输出端输出的原始输入图像，第一卷积层的输出端输出32幅特征图，将输出的所有特征图构成的集合记为J₁，其中，J₁中的每幅特征图的宽度为R、高度为L；第一批规范化层的输入端接收J₁中的所有特征图，第一批规范化层的输出端输出32幅特征图，将输出的所有特征图构成的集合记为P₁，其中，P₁中的每幅特征图的宽度为R、高度为L；第一激活层的输入端接收P₁中的所有特征图，第一激活层的输出端输出32幅特征图，将输出的所有特征图构成的集合记为H₁，其中，H₁中的每幅特征图的宽度为R、高度为L；第一最大池化层的输入端接收H₁中的所有特征图，第一最大池化层的输出端输出32幅特征图，将输出的所有特征图构成的集合记为Z₁，其中，Z₁中的每幅特征图的宽度为高度为第一conv_block网络块的输入端接收Z₁中的所有特征图，第一conv_block网络块的输出端输出128幅特征图，将输出的所有特征图构成的集合记为C₁，其中，C₁中的每幅特征图的宽度为高度为第一identity_block网络块的输入端接收C₁中的所有特征图，第一identity_block网络块的输出端输出128幅特征图，将输出的所有特征图构成的集合记为I₁，其中，I₁中的每幅特征图的宽度为高度为第二identity_block网络块的输入端接收I₁中的所有特征图，第二identity_block网络块的输出端输出128幅特征图，将输出的所有特征图构成的集合记为I₂，其中，I₂中的每幅特征图的宽度为高度为第二conv_block网络块的输入端接收I₂中的所有特征图，第二conv_block网络块的输出端输出256幅特征图，将输出的所有特征图构成的集合记为C₂，其中，C₂中的每幅特征图的宽度为高度为第三identity_block网络块的输入端接收C₂中的所有特征图，第三identity_block网络块的输出端输出256幅特征图，将输出的所有特征图构成的集合记为I₃，其中，I₃中的每幅特征图的宽度为高度为第四identity_block网络块的输入端接收I₃中的所有特征图，第四identity_block网络块的输出端输出256幅特征图，将输出的所有特征图构成的集合记为I₄，其中，I₄中的每幅特征图的宽度为高度为第五identity_block网络块的输入端接收I₄中的所有特征图，第五identity_block网络块的输出端输出256幅特征图，将输出的所有特征图构成的集合记为I₅，其中，I₅中的每幅特征图的宽度为高度为第三conv_block网络块的输入端接收I₅中的所有特征图，第三conv_block网络块的输出端输出512幅特征图，将输出的所有特征图构成的集合记为C₃，其中，C₃中的每幅特征图的宽度为高度为第六identity_block网络块的输入端接收C₃中的所有特征图，第六identity_block网络块的输出端输出512幅特征图，将输出的所有特征图构成的集合记为I₆，其中，I₆中的每幅特征图的宽度为高度为第七identity_block网络块的输入端接收I₆中的所有特征图，第七identity_block网络块的输出端输出512幅特征图，将输出的所有特征图构成的集合记为I₇，其中，I₇中的每幅特征图的宽度为高度为第八identity_block网络块的输入端接收I₇中的所有特征图，第八identity_block网络块的输出端输出512幅特征图，将输出的所有特征图构成的集合记为I₈，其中，I₈中的每幅特征图的宽度为高度为第四conv_block网络块的输入端接收I₈中的所有特征图，第四conv_block网络块的输出端输出1024幅特征图，将输出的所有特征图构成的集合记为C₄，其中，C₄中的每幅特征图的宽度为高度为第九identity_block网络块的输入端接收C₄中的所有特征图，第九identity_block网络块的输出端输出1024幅特征图，将输出的所有特征图构成的集合记为I₉，其中，I₉中的每幅特征图的宽度为高度为第十identity_block网络块的输入端接收I₉中的所有特征图，第十identity_block网络块的输出端输出1024幅特征图，将输出的所有特征图构成的集合记为I₁₀，其中，I₁₀中的每幅特征图的宽度为高度为对于译码框架，其由依次设置的第一dense block网络块、第一transitionup网络块、第二dense block网络块、第二transitionup网络块、第三dense block网络块、第三transitionup网络块、第四dense block网络块、第四transitionup网络块、第二卷积层、第二批规范化层、第二激活层组成，其中，第一dense block网络块、第二dense block网络块、第三dense block网络块和第四dense block网络块中的参数采用默认值，第一transitionup网络块、第二transitionup网络块、第三transitionup网络块和第四transitionup网络块各自中的反卷积层的卷积核大小采用默认值、卷积核个数采用默认值、卷积步长为2×2，第二卷积层的卷积核大小为1×1、卷积核个数为1、卷积步长采用默认值，第二批规范化层的参数采用默认值，第二激活层的激活函数采用ReLu；对于译码框架，第一dense block网络块的输入端接收I₁₀中的所有特征图，第一dense block网络块的输出端输出1184幅特征图，将输出的所有特征图构成的集合记为D₁，其中，D₁中的每幅特征图的宽度为高度为第一transitionup网络块的输入端接收D₁中的所有特征图和I₈中的所有特征图，第一transitionup网络块的输出端输出672幅特征图，将输出的所有特征图构成的集合记为T₁，其中，T₁中的每幅特征图的宽度为高度为第二dense block网络块的输入端接收T₁中的所有特征图，第二dense block网络块的输出端输出832幅特征图，将输出的所有特征图构成的集合记为D₂，其中，D₂中的每幅特征图的宽度为高度为第二transitionup网络块的输入端接收D₂中的所有特征图和I₅中的所有特征图，第二transitionup网络块的输出端输出416幅特征图，将输出的所有特征图构成的集合记为T₂，其中，T₂中的每幅特征图的宽度为高度为第三dense block网络块的输入端接收T₂中的所有特征图，第三denseblock网络块的输出端输出576幅特征图，将输出的所有特征图构成的集合记为D₃，其中，D₃中的每幅特征图的宽度为高度为第三transitionup网络块的输入端接收D₃中的所有特征图和I₂中的所有特征图，第三transitionup网络块的输出端输出288幅特征图，将输出的所有特征图构成的集合记为T₃，其中，T₃中的每幅特征图的宽度为高度为第四dense block网络块的输入端接收T₃中的所有特征图，第四dense block网络块的输出端输出448幅特征图，将输出的所有特征图构成的集合记为D₄，其中，D₄中的每幅特征图的宽度为高度为第四transitionup网络块的输入端接收D₄中的所有特征图和H₁中的所有特征图，第四transitionup网络块的输出端输出192幅特征图，将输出的所有特征图构成的集合记为T₄，其中，T₄中的每幅特征图的宽度为R、高度为L；第二卷积层的输入端接收T₄中的所有特征图，第二卷积层的输出端输出1幅特征图，其中，输出的特征图的宽度为R、高度为L；第二批规范化层的输入端接收第二卷积层的输出端输出的特征图，第二批规范化层的输出端输出1幅特征图，其中，输出的特征图的宽度为R、高度为L；第二激活层的输入端接收第二批规范化层的输出端输出的特征图，第二激活层的输出端输出1幅特征图，其中，输出的特征图的宽度为R、高度为L；对于输出层，输出层的输入端接收第二激活层的输出端输出的特征图，输出层的输出端输出一幅原始输入图像对应的估计深度图像；其中，估计深度图像的宽度为R、高度为L；步骤1_3：将训练集中的每幅原始的单目图像作为原始输入图像，输入到深度卷积神经网络中进行训练，得到训练集中的每幅原始的单目图像对应的估计深度图像，将{Qⁿ(x,y)}对应的估计深度图像记为其中，表示中坐标位置为(x,y)的像素点的像素值；步骤1_4：计算训练集中的每幅原始的单目图像对应的估计深度图像与对应的真实深度图像之间的损失函数值，将与之间的损失函数值记为步骤1_5：重复执行步骤1_3和步骤1_4共V次，得到训练好的深度卷积神经网络训练模型，并共得到N×V个损失函数值；然后从N×V个损失函数值中找出值最小的损失函数值；接着将值最小的损失函数值对应的权值矢量和偏置项对应作为训练好的深度卷积神经网络训练模型的最优权值矢量和最优偏置项，对应记为Wbest和bbest；其中，V＞1；所述的测试阶段过程的具体步骤为：步骤2_1：令{Q(x',y')}表示待预测的单目图像；其中，1≤x'≤R'，1≤y'≤L'，R'表示{Q(x',y')}的宽度，L'表示{Q(x',y')}的高度，Q(x',y')表示{Q(x',y')}中坐标位置为(x',y')的像素点的像素值；步骤2_2：将{Q(x',y')}输入到训练好的深度卷积神经网络训练模型中，并利用Wbest和bbest进行预测，得到{Q(x',y')}对应的预测深度图像，记为{Qdepth(x',y')}；其中，Qdepth(x',y')表示{Qdepth(x',y')}中坐标位置为(x',y')的像素点的像素值。