[发明专利]获得稠密深度图的方法及相关装置

权利要求书

1.一种获得稠密深度图的方法，其特征在于，包括：

获得同一时刻下位置相对固定的单目相机与激光雷达分别采集的对应于同一场景信息的二维图像和三维点云；

将所述二维图像和所述三维点云映射至同一个坐标系中，所述三维点云映射为所述二维图像对应的稀疏深度图；

将所述二维图像和对应的所述稀疏深度图输入至训练后的卷积神经网络模型中，以获得对应的稠密深度图；

其中，所述将所述二维图像和对应的所述稀疏深度图输入至训练后的卷积神经网络模型中，以获得对应的稠密深度图包括：

将所述二维图像和对应的所述稀疏深度图分别输入第一指导模块和第一卷积模块中，以分别获得第一亲和力矩阵和第一卷积图像；其中，所述第一卷积模块和所述第一指导模块的网络结构不同；

将所述第一亲和力矩阵和所述第一卷积图像共同输入至第一卷积空间传播网络CSPN模块中进行数据融合，以获得第一融合图像；

将所述第一亲和力矩阵和所述第一融合图像分别输入至第二指导模块和第二卷积模块中，以分别获得第二亲和力矩阵和第二卷积图像；

将所述第二卷积图像和所述稀疏深度图进行比对，以获得位置相同的像素点合集；

将所述第二卷积图像中的所述像素点合集中的各个像素点的深度值替换为其在所述稀疏深度图中的深度值；

将所述第二亲和力矩阵和所述第二卷积图像共同输入至第二卷积空间传播网络CSPN模块中进行数据融合，以获得第二融合图像，将所述第二融合图像作为所述稠密深度图；其中，所述第二卷积模块和所述第二指导模块的网络结构不同。

2.根据权利要求1所述的方法，其特征在于，所述获得所述第二融合图像之后，还包括：

将所述第二融合图像和所述稀疏深度图进行比对，以获得位置相同的像素点合集；

将所述第二融合图像中的所述像素点合集中的各个像素点的深度值替换为其在所述稀疏深度图中的深度值。

3.根据权利要求1所述的方法，其特征在于，所述将所述二维图像和所述三维点云映射至同一个坐标系中，包括：

将所述三维点云映射至所述二维图像所在的坐标系中。

4.根据权利要求3所述的方法，其特征在于，所述将所述三维点云映射至所述二维图像所在的坐标系中，包括：

将所述三维点云通过旋转平移矩阵和所述相机的内参数矩阵映射至所述二维图像所在的坐标系中；其中，所述旋转平移矩阵为所述激光雷达相对所述单目相机的旋转平移矩阵。

5.根据权利要求1所述的方法，其特征在于，所述获得同一时刻下位置相对固定的单目相机与激光雷达分别采集的对应于同一场景信息的二维图像和三维点云之前，还包括：

判断所述激光雷达上的激光感应器是否接收到激光；

若是，则发出触发指令至所述单目相机，以使得所述单目相机进行拍摄。

6.一种获得稠密深度图的系统，其特征在于，包括相互耦接的存储器和处理器、位置相对固定的单目相机和激光雷达；

其中，所述单目相机和所述激光雷达用于分别采集对应于同一场景信息的同一时刻下的二维图像和三维点云，并将其发送至所述处理器；所述存储器内存储有程序指令，所述处理器用于接收所述二维图像和所述三维点云，并执行所述程序指令以实现权利要求1至5任一项所述的获得稠密深度图的方法。

7.一种存储装置，其特征在于，存储有能够被处理器运行的程序指令，所述程序指令用于实现权利要求1至5任一项所述的获得稠密深度图的方法。