[发明专利]获得稠密深度图的方法及相关装置

说明书

本申请公开了一种获得稠密深度图的方法及相关装置，该方法包括：获得同一时刻下位置相对固定的单目相机与激光雷达分别采集的对应于同一场景信息的二维图像和三维点云；将所述二维图像和所述三维点云映射至同一个坐标系中，所述三维点云映射为所述二维图像对应的稀疏深度图；将所述二维图像和对应的所述稀疏深度图输入至训练后的卷积神经网络模型中，以获得对应的稠密深度图。通过上述方式，本申请能够通过卷积神经网络模型有效提取单目相机捕获的二维图像的特征信息，并与激光雷达所采集的三维点云信息进行融合，从而获得高精度的稠密深度图。

技术领域

本申请涉及计算机视觉技术领域，特别是涉及一种获得稠密深度图的方法及相关装置。

背景技术

深度感知是场景理解的基础。常见的获取场景深度信息的方法包括双目立体视觉、结构光、激光雷达测距、单目深度估计等。其中，激光雷达提供了最可靠和最准确的深度感知，并已广泛集成到许多机器人和自动驾驶车辆。激光雷达是以激光为光源进行测距的传感器，它通过向周围发射激光，根据发射到接收的时间间隔确定物体的距离，并根据距离及激光束的角度，计算出物体的位置。

然而，目前的激光雷达只能获得稀疏的深度数据，这对于机器人导航等实际应用是不够的。因为密集的深度感知对于视觉任务来说至关重要，对被观测物体进行准确的稠密深度感知是解决障碍物躲避、目标检测或识别以及三维场景重建等任务的前提。

因此，目前研究的热点问题包括：如何将激光雷达与其他传感器采集的信息进行融合，以获得更好的场景感知能力。

发明内容

本申请主要解决的技术问题是提供一种获得稠密深度图的方法及相关装置，能够通过卷积神经网络模型有效提取单目相机捕获的二维图像的特征信息，并与激光雷达所采集的三维点云信息进行融合，从而获得高精度的稠密深度图。

为了解决上述问题，本申请第一方面提供了一种获得稠密深度图的方法，包括：获得同一时刻下位置相对固定的单目相机与激光雷达分别采集的对应于同一场景信息的二维图像和三维点云；将所述二维图像和所述三维点云映射至同一个坐标系中，所述三维点云映射为所述二维图像对应的稀疏深度图；将所述二维图像和对应的所述稀疏深度图输入至训练后的卷积神经网络模型中，以获得对应的稠密深度图。

为了解决上述问题，本申请第二方面提供了一种获得稠密深度图的系统，包括相互耦接的存储器和处理器、位置相对固定的单目相机和激光雷达，其中，所述单目相机和所述激光雷达用于分别采集对应于同一场景信息的同一时刻下的二维图像和三维点云，并将其发送至所述处理器；所述存储器内存储有程序指令，所述处理器用于接收所述二维图像和所述三维点云，并执行所述程序指令以实现上述任一实施例中所述的获得稠密深度图的方法。

为了解决上述问题，本申请第三方面提供了一种存储装置，存储有能够被处理器运行的程序指令，所述程序指令用于执行上述任一实施例所述的获得稠密深度图的方法。

区别于现有技术情况，激光雷达保证了深度感知的高精度性，单目相机保证了捕捉的场景信息的完整性和丰富性，而本申请所提供的获得稠密度深度图的方法中将单目相机和激光雷达采集的信息利用卷积神经网络模型进行融合，以获得高精度且稠密的场景深度信息，为后续的三维重建、自动驾驶、智能机器人等更高级的视觉任务提供更加可靠的支持。且由于本申请中的深度感知并不依赖于单目相机自身距地面的高度、俯仰角等信息，因此具有比较强的灵活性，只要单目相机和激光雷达有稳定的相对位置，则可以任意的将设备进行移动而不需要重新进行外参标定。

此外，本申请中单目相机对应的二维图像和激光雷达对应的稀疏深度图分别输入不同的卷积层模块，然后再利用CSPN模块进行融合，这种方式能够更有效的将两者进行关联，网络更加稳定且容易收敛。

附图说明