[发明专利]基于增强型双目相机与3D毫米波雷达的可穿戴避障方法及装置

说明书

本发明涉及一种基于增强型双目图像传感器与3D毫米波雷达的可穿戴避障方法及装置，属于可穿戴设备领域，包括如下步骤：步骤1、通过3D毫米波雷达和增强型双目图像传感器采集障碍物的距离、速度和方位的数据；步骤2、将3D毫米波雷达和图像传感器采集的信息进行融合；步骤3、将融合后的障碍物的距离、速度和方位信息以声音编码的信息交互方式告知设备佩戴者。该装置包括图像传感器、雷达传感器、信息融合模块和信息交互模块，本发明的方法融合了3D毫米波雷达和增强型双目图像传感器的信息，提高了测量的可靠度，能够更好的帮助视觉障碍人士躲避存在的障碍物。

技术领域

本发明涉及可穿戴设备领域，尤其涉及一种基于增强型双目图像传感器与3D毫米波雷达的可穿戴避障方法及装置。

背景技术

眼睛是人类获取外部信息最多的器官，存在视觉障碍的人，很难应对日常生活中经常出现的障碍物。简单的盲杖提供的帮助有限，经常会出现漏检的情况；导盲犬则需要长达数年的专业训练，并且在有的场合不允许进入；仿生眼植入对人体有创伤，并且高昂的费用，并不适合普通视觉障碍人士使用。而传统的电子视觉辅助工具主要包括双目视觉辅助系统、主动光深度相机辅助系统、激光测距系统等。

基于双目相机的视觉辅助技术可以提供一定范围内的深度图像，为视觉障碍人士躲避障碍物能够提供一定的帮助，但是单套双目相机系统，对于图像匹配有很高的要求，对于纹理不显著的地方容易造成漏检，并且需要的匹配算法复杂，需要的计算量大，容易造成处理结果延迟。

主动光深度相机相比双目相机优点在于能够实时获取稠密精确深度图像，但是在室外受日光的影响较大，造成远处障碍物无法准确探测。并且相机都有固定的视场角，不能准确探测视场角以外的环境状况。而激光测距或者超声波测距系统只能针对单点物体测距，不能有限探测障碍物的整体形貌，也很容易造成障碍物的误判和漏判。

随着技术的发展，集成了双目系统和主动光深度相机的增强型双目图像传感器已经出现，能够在一定程度上解决双目相机和主动光深度相机的弊端。同时，小型化低功耗的3D毫米波雷达系统已经出现，并开始大规模应用。将增强型双目图像传感器和低功耗的3D毫米波雷达融合起来使用，能够帮助视觉障碍人士躲避存在的障碍物。小体积低功耗的特点也使其在无人机等注重体积和功耗的运动设备领域有广阔的应用。

发明内容

本发明针对现有技术的不足，提供了一种基于增强型双目图像传感器与3D毫米波雷达的可穿戴避障方法及装置。

本发明所采用的技术方案如下：一种基于增强型双目图像传感器与3D毫米波雷达的可穿戴避障方法，包括如下步骤：

步骤1、通过3D毫米波雷达和增强型双目图像传感器采集障碍物的距离、速度和方位的数据；

步骤2、将3D毫米波雷达和图像传感器采集的信息进行融合；

步骤3、将融合后的障碍物的距离、速度和方位信息以声音编码的信息交互方式告知设备佩戴者。

进一步的，所述步骤1具体为：

步骤1.1、3D毫米波雷达探测障碍物在三维空间中的距离、速度以及运动方向信息；

步骤1.2、增强型双目图像传感器探测障碍物的深度信息和彩色信息。

进一步的，所述步骤2具体为：

步骤2.1、根据3D毫米波雷达探测到的障碍物的数量以及距离信息，将不同距离的障碍物划分到不同的群组，得到划分的阈值；

步骤2.2、对图像传感器输出的深度信息和彩色信息进行进一步处理，使用深度学习的方法在彩色信息中确定障碍物的外部轮廓，并将该轮廓映射到深度图中，从而得到障碍物的距离信息，同时利用Mean Shift方法跟踪障碍物，并计算出速度信息；