[发明专利]一种基于多种传感器的导盲设备

说明书

本发明提供了一种基于多传感器的智能导盲设备，包括多种传感器，用于采集盲人的当前位置信息、行动信息和多种环境信息；路径规划设备；以及人机交互模块，用于将所述最优路径转换为引导盲人行动的行动指令；本发明能极大地拓展现有可穿戴式导盲设备的应用场景，帮助盲人群体更加高效、安全的在复杂的环境中出行。

技术领域

本发明涉及计算机视觉领域，具体来说涉及利用多传感器导盲的技术，更具体地说，涉及一种基于多种传感器的导盲设备。

背景技术

如何帮助盲人在复杂的环境中独立且高效地活动，是一个备受关注的研究领域。盲人在户外环境中行走时，必须克服许多困难，例如：躲避障碍物、寻找可行区域等；因此，大多数的盲人不愿意独自外出活动。为了提升盲人群体的生活质量，帮助他们更加便捷的出行，目前已经有了多种解决方案，其中导盲杖和导盲犬是最常见的两种盲人辅助出行工具。然而，导盲杖的功能过于简单，只能通过触碰的方式帮助使用者发现部分近距离的障碍物，因此存在极大的安全隐患；导盲犬能够辅助盲人完成躲避障碍物、穿过路口等多种复杂任务，是一种较好的辅助出行工具。但是，导盲犬的训练和使用成本昂贵，为使用者带来严重的经济负担。随着机器人、传感器、人工智能等相关技术的不断发展和成熟，已有多种辅助导盲设备相继被提出。例如，电子导盲杖、机械导盲犬和可穿戴式导盲设备。但目前的现有技术的功能比较单一，只能完成一些简单的任务，对于户外复杂的环境适应性低，应用场景较为受限。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种基于多种传感器的导盲设备。

本发明的目的是通过以下技术方案实现的：

根据本发明的第一方面，提供一种用于导盲的路径规划设备，所述路径规划设备被配置为：根据盲人的目的地和当前位置信息进行全局路径规划，得到全局路径；利用第一深度学习模型根据深度相机采集的彩色图对盲人所处空间进行可行区域识别，得到可行区域识别结果；利用第二深度学习模型根据深度相机采集的彩色图对盲人所处空间进行目标检测，得到目标检测结果；利用所述目标检测结果和深度相机采集的深度图确定对障碍物的第一检测结果以及利用多个超声传感器确定对障碍物的第二检测结果；将彩色图对应的空间映射到预设的行走空间网格，根据可行区域识别结果、第一检测结果、第二检测结果确定行走空间网格中相应网格的代价缩放因子；利用路径规划算法根据全局路径、网格的代价缩放因子进行局部路径规划，得到用于引导盲人行走的最优路径。或者，将彩色图对应的空间映射到预设的行走空间网格，根据可行区域识别结果、第一检测结果、第二检测结果以及深度图与所述彩色图的对应关系确定行走空间网格中相应网格的代价缩放因子。

在本发明的一些实施例中，所述第一深度学习模型利用经改进的ESPNetV2模型实现，其中，所述经改进的ESPNetV2模型为在原始的ESPNetV2模型的特征提取模块的最后添加特征金字塔模块。

在本发明的一些实施例中，所述经改进的ESPNetV2模型按照以下方式训练得到：利用收集的道路相关的数据集训练经改进的ESPNetV2模型对道路数据集中的样本图像中的可行区域进行分割识别，输出可行区域识别结果，其中，所述道路相关的数据集包括样本图像和可行区域分割标签，所述可行区域分割标签包括指示样本图像的相应区域为盲道、人行道、车行道、斑马线、背景对应的标注值；利用交叉熵作为损失函数根据输出的可行区域识别结果和可行区域分割标签计算分割可行区域的损失值，根据分割可行区域的损失值更新经改进的ESPNetV2模型的参数。

在本发明的一些实施例中，所述第二深度学习模型利用经改进的YOLOv5模型实现，其中，所述经改进的YOLOv5模型为将原始的YOLOv5模型中的3x3普通卷积换为深度可分离卷积。