[发明专利]深度图的处理方法、小障碍物检测方法及系统

权利要求书

1.一种深度图的处理方法，其特征在于，所述方法包括：

传感器标定，所述传感器包括双目相机和结构光深度相机，所述双目相机获取左图像和右图像，所述结构光深度相机获取结构光深度图，对所述双目相机的内参畸变标定、外参标定以及对所述双目相机和所述结构光深度相机的外参标定；

畸变与极线矫正，对所述左图像和右图像执行畸变和极线矫正；

数据对齐，利用所述结构光深度相机的所述外参将所述结构光深度图对齐到所述左图像和右图像的坐标系下，获得双目深度图；

稀疏立体匹配，对所述结构光深度图的空洞部分执行稀疏立体匹配并获取视差，将所述视差转换为深度，使用所述深度并融合所述结构光深度图和所述双目深度图，重建出鲁棒的深度图；

所述稀疏立体匹配的操作，具体包括：

提取空洞掩模，对所述空洞掩模内的图像执行稀疏立体匹配并获取视差；

所述畸变与极线矫正的操作，具体包括：

将用于稀疏立体匹配的匹配点约束在一条水平直线上进行对齐操作。

2.一种小障碍物检测方法，其特征在于，所述检测方法包括如权利要求1所述的深度图的处理方法，所述检测方法用于检测地面的小障碍物，所述方法还包括：

通过所述双目相机和结构光深度相机分别获取地面图像；

对所述地面图像的占主体的背景执行稠密重建，采用所述双目相机对梯度较大的图像位置进行稀疏特征重建；

通过视觉处理技术提取三维的点云，采用“减背景”检测方法对所述小障碍物的点云进行分离检测；

将所述小障碍物的点云映射到图像，执行图像分割获得目标图像；

采用融合方案对所述目标图像进行三维重构获取完整密集点云。

3.如权利要求2所述的小障碍物检测方法，其特征在于，所述稀疏立体匹配的操作，进一步包括：

对所述鲁棒的深度图进行分块，将每个所述块内的深度图转换为所述点云，以平面模型对所述点云进行地面拟合，若所述块内的点云不满足平面假设，则将所述块内的点云去除，否则保留所述块内的点云；

通过深度神经网络将对所述保留的块进行二次校验，将通过所述二次校验的所述块基于平面法线和重心进行区域生长，分割出大块地面的三维平面方程及边界点云；

获取所有未通过所述二次校验的所述块内的点云到其所归属地面的距离，若距离大于阈值，则将其分割出来，获得疑似障碍物；

将所述疑似障碍物的所属点云映射到图像，作为区域分割的种子点，进行所述种子点生长，提取出完整的障碍物区域；

将所述障碍物区域映射出完整的点云，完成三维的所述小障碍物的检测。

4.如权利要求2所述的小障碍物检测方法，其特征在于，所述双目相机包括左相机和右相机，所述左相机获取的所述地面图像包括左图像，所述右相机获取的所述地面图像包括右图像，所述结构光深度相机获取所述地面的所述结构光深度图。

5.一种小障碍物检测系统，其特征在于，所述检测系统包括如权利要求2-4任一项所述的小障碍物检测方法。

6.如权利要求5所述的小障碍物检测系统，其特征在于，还包括机器人本体，所述双目相机和结构光深度相机设置于所述机器人本体，所述双目相机和结构光深度相机朝向所述地面的方向倾斜设置。