[发明专利]一种基于多种传感器的导盲设备

权利要求书

1.一种用于导盲的路径规划设备，其特征在于，所述路径规划设备被配置为：

根据盲人的目的地和当前位置信息进行全局路径规划，得到全局路径；

利用第一深度学习模型根据深度相机采集的彩色图对盲人所处空间进行可行区域识别，得到可行区域识别结果；

利用第二深度学习模型根据深度相机采集的彩色图对盲人所处空间进行目标检测，得到目标检测结果；

利用所述目标检测结果和深度相机采集的深度图确定对障碍物的第一检测结果以及利用多个超声传感器确定对障碍物的第二检测结果；

将彩色图对应的空间映射到预设的行走空间网格，根据可行区域识别结果、第一检测结果以及第二检测结果确定行走空间网格中相应网格的代价缩放因子；

利用路径规划算法根据全局路径、网格的代价缩放因子进行局部路径规划，得到用于引导盲人行走的最优路径。

2.根据权利要求1所述的路径规划设备，其特征在于，所述第一深度学习模型利用经改进的ESPNetV2模型实现，其中，所述经改进的ESPNetV2模型为在原始的ESPNetV2模型的特征提取模块的最后添加特征金字塔模块。

3.根据权利要求2所述的路径规划设备，其特征在于，所述经改进的ESPNetV2模型按照以下方式训练得到：

利用收集的道路相关的数据集训练经改进的ESPNetV2模型对道路数据集中的样本图像中的可行区域进行分割识别，输出可行区域识别结果，其中，所述道路相关的数据集包括样本图像和可行区域分割标签，所述可行区域分割标签包括指示样本图像的相应区域为盲道、人行道、车行道、斑马线、背景对应的标注值；

利用交叉熵作为损失函数根据输出的可行区域识别结果和可行区域分割标签计算分割可行区域的损失值，根据分割可行区域的损失值更新经改进的ESPNetV2模型的参数。

4.根据权利要求1所述的路径规划设备，其特征在于，所述第二深度学习模型利用经改进的YOLOv5模型实现，其中，所述经改进的YOLOv5模型为将原始的YOLOv5模型中的3x3普通卷积换为深度可分离卷积。

5.根据权利要求4所述的路径规划设备，其特征在于，所述第二深度学习模型按照以下方式训练得到：

利用COCO2017数据集训练经改进的YOLOv5模型对数据集中的样本图像进行目标检测，输出目标检测结果；

根据输出的目标检测结果和目标检测标签计算目标检测的总损失，根据目标检测的总损失更新经改进的YOLOv5的参数，其中，所述目标检测的总损失包括分类预测子损失和检测框预测子损失。

6.根据权利要求1所述的路径规划设备，其特征在于，第一检测结果包括：基于图像的目标检测结果确定的障碍物以及根据深度图检测深度值突变确定的障碍物。

7.根据权利要求6所述的路径规划设备，其特征在于，所述根据深度图检测深度值突变确定的障碍物中所利用的深度图是利用第三深度学习模型根据深度相机采集的彩色图对关联的深度图进行补全后的深度图。

8.根据权利要求7所述的路径规划设备，其特征在于，所述第三深度学习模型利用PENet模型实现，并且按照以下方式训练得到：

使用KITTI-Depth数据集训练PENet模型根据彩色图对关联的深度图进行补全，

利用均方误差损失函数根据补全后的深度图和深度标签计算损失值，并根据所述损失值更新PENet模型的参数。

9.根据权利要求1所述的路径规划设备，其特征在于，确定行走空间网格中相应网格的代价缩放因子时，使得相应网格的代价被缩小的相对程度如下：

盲道≥斑马线＞人行道＞车行道＞障碍物，其中，障碍物包括行人、自行车、汽车、交通标识牌、其他地面障碍物。