[发明专利]深度图的处理方法、小障碍物检测方法及系统

说明书

本发明提供了一种深度图的处理方法、小障碍物检测方法及系统，包括：传感器标定、畸变与极线矫正、数据对齐、稀疏立体匹配。根据本发明提供的深度图的处理方法、小障碍物检测方法及系统，无需对全图立体匹配，而只对结构光深度图的空洞部分进行稀疏立体匹配，整体上显著降低了深度图处理的计算量，并且提升了对系统的鲁棒性。

技术领域

本发明涉及机器人技术领域，特别涉及一种深度图的处理方法、小障碍物检测方法及系统。

背景技术

障碍物检测是机器人自主导航的重要组成部分且在机器人学和视觉领域得到了广泛研究且在一些消费级产品上得到了应用。小障碍物如果不能得到准确的检测，会导致机器人移动安全性受到影响。但在实际环境中，由于小障碍物种类繁杂，体积较小，对小障碍物检测仍然是一个挑战。

发明内容

机器人场景的障碍物检测一般通过距离获取传感器或算法获取目标的三维信息(如三维位置，轮廓)。一方面，小障碍物由于其体积小，检测时需要获取更准确的三维信息，这对传感器和算法的测量精度及分辨率要求更高。主动传感器中如雷达或者声呐有很高测量精度，但分辨率较低；基于红外结构光的深度相机能达到较高分辨率，但其易受阳光干扰，当干扰影响大时成像存在空洞且成像目标较小时存在鲁棒性不足。被动传感器如双目立体匹配或序列图像立体匹配，若采用无差别稠密重建，存在计算量大，对小目标重建困难存尤其是背景噪声较多时。另一方面，小障碍物种类繁杂，需要检测方案及算法能适用各种类型的小障碍物。如果直接检测障碍物，那么需要对检测对象有预先的定义，鲁棒性存在一定限制。

鉴于此，本发明的目的在于提供一种深度图的处理方法、小障碍物检测方法及系统，提升了方案和算法的鲁棒性和精度，从而提升对各种小障碍物检测的准确性。

为了实现上述目的，本发明实施方式提供如下技术方案：

一种深度图的处理方法，包括：

传感器标定，所述传感器包括双目相机和结构光深度相机，所述双目相机获取左图像和右图像，所述结构光深度相机获取结构光深度图，对所述双目相机的内参畸变标定、外参标定以及对所述双目相机和所述结构光深度相机的外参标定；

畸变与极线矫正，对所述左图像和右图像执行畸变和极线矫正；

数据对齐，利用所述结构光深度相机的所述外参将所述结构光深度图对齐到所述左图像和右图像的坐标系下，获得双目深度图；

稀疏立体匹配，对所述结构光深度图的空洞部分执行稀疏立体匹配并获取视差，将所述视差转换为深度，使用所述深度并融合所述结构光深度图和所述双目深度图，重建出鲁棒的深度图。

由此，无需对全图立体匹配，而只对结构光深度图的空洞部分进行稀疏立体匹配，整体上显著降低了深度图处理的计算量，并且提升了对系统的鲁棒性。

其中，所述稀疏立体匹配的操作，具体包括：

提取空洞掩模，对所述空洞掩模内的图像执行稀疏立体匹配并获取视差。

其中，所述畸变与极线矫正的操作，具体包括：

将用于稀疏立体匹配的匹配点约束在一条水平直线上进行对齐操作。

在这种情况下，显著减少了后续执行立体匹配的时间并大幅提升了准确度。

本发明还提供一种小障碍物检测方法，所述检测方法包括如上所述的深度图的处理方法，所述检测方法用于检测地面的小障碍物，所述方法还包括：

通过所述双目相机和结构光深度相机分别获取地面图像，

对所述地面图像的占主体的背景执行稠密重建，采用所述双目相机对梯度较大的图像位置进行稀疏特征重建；

通过视觉处理技术提取三维的点云，采用“减背景”检测方法对所述小障碍物的点云进行分离检测；