[发明专利]一种基于多尺度网络的稀疏深度稠密化方法

摘要

本发明公开了一种基于多尺度网络的稀疏深度稠密化方法。属于计算机视觉的深度估计技术领域。本发明使用多尺度卷积神经网络，将RGB图像数据和稀疏点云数据进行有效的融合，最终得出稠密的深度图像。将稀疏点云映射到二维平面生成稀疏深度图，并与RGB图像对齐，然后将稀疏深度图和RGB图像连接在一起生成RGBD图像，将RGBD图像输入到多尺度卷积神经网络进行训练和测试，最终估计出一个稠密的深度图。RGB图像和稀疏点云相结合的方式估计深度，可以让点云包含的距离信息去指导RGB图像转化为深度图；多尺度网络利用了原始数据不同分辨率的信息，一方面扩大了视野域，另一方面小分辨率上的输入深度图更稠密，可以获得更高的准确率。

主权项

1.一种基于多尺度网络的稀疏深度稠密化方法，其特征在于，包括下列步骤：构建多尺度网络模型：所述多尺度网络模型包括L路输入分支支路，将L路分支支路的输出对应点相加后输入信息融合层，对信息融合层后接一个上采样处理层，作为多尺度网络模型的输出层；其中，L路输入分支支路中，其中一路支路作为原始图像的输入；剩余L‑1路作为原始图像进行不同下采样后得到的下采样图像的输入；且多尺度网络模型的输出层的输出图像与原始图像的尺寸相同；且L路输入分支支路的输入数据包括：RGB图像和稀疏深度图；其中对于对原始图像的稀疏深度图的下采样方式为：对于稀疏深度图，基于预设的下采样倍数K，将稀疏深度图按照像素划分为网格，每个网格包含K×K个原始输入像素；并基于原始输入像素的深度值设置各原始输入像素的标记值s_i，若当前原始输入像素的深度值为0，则s_i＝0；否则s_i＝1；其中i为每个网格包括的K×K个原始输入像素的区分符；并根据公式得到每个网格的深度值p_new，其中p_i表示原始输入像素i的深度值；输入为原始图像的支路的网络结构为第一网络结构；输入为原始图像的下采样图像的支路的网络结构为：在第一网络结构后增设K/2个16通道的上采样卷积块D，其中K表示对原始图像的下采样倍数；所述第一网络结构包括十四层，分别为：第一层为输入层和池化层，输入层的卷积核大小为7*7，通道数为64，卷积步长为2；池化层采用最大值池化，其卷积核大小为3*3，池化常数为2；第二层和第三层结构相同，均为一个64通道的R¹残差卷积块；第四层为一个128通道的R²残差卷积块；第五层为一个128通道的R¹残差卷积块；第六层为一个256通道的R²残差卷积块；第七层为一个256通道的R¹残差卷积块；第八层为一个512通道的R²残差卷积块；第九层为一个512通道的R¹残差卷积块；第十层为一个卷积层，其卷积核大小为3*3，通道数为256，卷积步长为1；第十一层为128通道的上采样卷积块D，并将第十一层的输出与第七层的输出按照通道叠加后再输入第十二层；第十二层为64通道的上采样卷积块D，并将第十二层的输出与第五层的输出按照通道叠加后再输入第十三层；第十三层是32通道的上采样卷积块D，并将第十三层的输出与第三层的输出按照通道叠加后再输入第十四层；第十四层为16通道的上采样卷积块D；所述R¹残差卷积块包括两层相同结构的卷积层，其卷积核大小为3*3，卷积步长为1，通道数可调节；并将输入R¹残差卷积块的输入数据与第二层的输出对应点相加接入一个ReLU激活函数，作为R¹残差卷积块的输出层；所述R²残差卷积块包括第一、第二和第三卷积层，输入R²残差卷积块的输入数据分别进入两条支路，再将两条支路的输出对应点相加接入一个ReLU激活函数，作为R²残差卷积块的输出层；其中一条支路为顺次连接的第一和第二卷积层，另一条支路为第三卷积层；所述第一卷积层和第二卷积层的结构相同，均为卷积核大小为3*3，卷积步长为2，通道数可调节；第三卷积层为卷积核大小为3*3，卷积步长为1，通道数可调节；所述上采样卷积块D包括两个放大模块和一个卷积层，其中输入上采样卷积块D的输入数据分别进入两条支路，再将两条支路的输出对应点相加接入一个ReLU激活函数，作为上采样卷积块D的输出层；其中一条支路为顺次连接的第一放大模块和卷积层，另一条支路为第二放大模块；其中，上采样卷积块D的卷积层为：卷积核大小是3*3，卷积步长为1，通道数可调节；上采样卷积块D的放大模块包括四个并列的卷积层，该四个卷积层的通道数设置为相同，卷积核大小分别为：3*3，3*2，2*3和2*2，且卷积步长均为1，输入放大模块的输入数据通过其四个卷积层后再拼接在一起，作为放大模块的输出；所述信息融合模块为卷积核大小为3*3，通道数为1，卷积步长为1的卷积层；对所构建的多尺度网络模型进行深度学习训练，并通过训练好的多尺度网络模型得到待处理图像的稠密化的处理结果。