[发明专利]一种基于多尺度网络的稀疏深度稠密化方法

说明书

本发明公开了一种基于多尺度网络的稀疏深度稠密化方法。属于计算机视觉的深度估计技术领域。本发明使用多尺度卷积神经网络，将RGB图像数据和稀疏点云数据进行有效的融合，最终得出稠密的深度图像。将稀疏点云映射到二维平面生成稀疏深度图，并与RGB图像对齐，然后将稀疏深度图和RGB图像连接在一起生成RGBD图像，将RGBD图像输入到多尺度卷积神经网络进行训练和测试，最终估计出一个稠密的深度图。RGB图像和稀疏点云相结合的方式估计深度，可以让点云包含的距离信息去指导RGB图像转化为深度图；多尺度网络利用了原始数据不同分辨率的信息，一方面扩大了视野域，另一方面小分辨率上的输入深度图更稠密，可以获得更高的准确率。

技术领域

本发明属于计算机视觉的深度估计领域，具体涉及一种基于多尺度卷积神经网络的稀疏深度稠密化方法。

背景技术

无人驾驶中，基于计算机视觉技术的感知系统是最基础的部分。目前，无人驾驶感知系统中最常使用的是基于可见光的摄像头，摄像头具有成本低，相关技术成熟等优点。但基于可见光的摄像头也存在明显缺点：其一，由摄像头拍摄的RGB图像只有颜色信息，如果目标纹理复杂，感知系统容易判断失误。其二，在某些环境，基于可见光的摄像头会失效。例如光照不足的夜晚，摄像头很难正常进行工作。激光雷达也是无人驾驶感知系统经常使用的传感器。激光雷达不易受光照条件的影响，其采集的点云数据具有三维特性，由点云数据可以直接得到深度图像，深度图像是将点云映射到二维平面形成的图像，每一个像素点的值表示该点到传感器的距离。相比于RGB图像，深度图像包含的距离信息对物体识别，分割等任务更有帮助。但激光雷达价格昂贵，并且采集的点云过于稀疏，生成的深度图也过于稀疏，一定程度影响了其使用效果。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种利用多尺度网络对稀疏深度进行稠密化的方法。

本发明的基于多尺度网络的稀疏深度稠密化方法，包括下列步骤：

构建多尺度网络模型：

所述多尺度网络模型包括L(L≥2)路输入分支支路，将L路分支支路的输出对应点相加后输入信息融合层，对信息融合层后接一个上采样处理层，作为多尺度网络模型的输出层；

其中，L路输入分支支路中，其中一路支路作为原始图像的输入；剩余L-1路作为原始图像进行不同下采样后得到的下采样图像的输入；且多尺度网络模型的输出层的输出图像与原始图像的尺寸相同；

且L路输入分支支路的输入数据包括：RGB图像和稀疏深度图；其中对于对原始图像的稀疏深度图的下采样方式为：对于稀疏深度图，基于预设的下采样倍数K，将稀疏深度图按照像素划分为网格，每个网格包含K×K个原始输入像素；并基于原始输入像素的深度值设置各原始输入像素的标记值s_i，若当前原始输入像素的深度值为0，则s_i＝0；否则s_i＝1；其中i为每个网格包括的K×K个原始输入像素的区分符；并根据公式得到每个网格的深度值p_new，其中p_i表示原始输入像素i的深度值；

输入为原始图像的支路的网络结构为第一网络结构；

输入为原始图像的下采样图像的支路的网络结构为：在第一网络结构后增设K/2个16通道的上采样卷积块D，其中K表示对原始图像的下采样倍数；

所述第一网络结构包括十四层，分别为：

第一层为输入层和池化层，输入层的卷积核大小为7*7，通道数为64，卷积步长为2；池化层采用最大值池化，其卷积核大小为3*3，池化常数为2；

第二层和第三层结构相同，均为一个64通道的R¹残差卷积块；

第四层为一个128通道的R²残差卷积块；

第五层为一个128通道的R¹残差卷积块；