[发明专利]基于增强型双目相机与3D毫米波雷达的可穿戴避障方法及装置

权利要求书

1.一种基于增强型双目图像传感器与3D毫米波雷达的可穿戴避障方法，其特征在于，包括如下步骤：

步骤1、通过3D毫米波雷达和增强型双目图像传感器采集障碍物的距离、速度和方位的数据；

步骤2、将3D毫米波雷达和图像传感器采集的信息进行融合；

步骤3、将融合后的障碍物的距离、速度和方位信息以声音编码的信息交互方式告知设备佩戴者。

2.根据权利要求1所述的方法，其特征在于，所述步骤1具体为：

步骤1.1、3D毫米波雷达探测障碍物在三维空间中的距离、速度以及运动方向信息；

步骤1.2、增强型双目图像传感器探测障碍物的深度信息和彩色信息。

3.根据权利要求1所述的方法，其特征在于，所述步骤2具体为：

步骤2.1、根据3D毫米波雷达探测到的障碍物的数量以及距离信息，将不同距离的障碍物划分到不同的群组，得到划分的阈值；

步骤2.2、对图像传感器输出的深度信息和彩色信息进行进一步处理，使用深度学习的方法在彩色信息中确定障碍物的外部轮廓，并将该轮廓映射到深度图中，从而得到障碍物的距离信息，同时利用Mean Shift方法跟踪障碍物，并计算出速度信息；

步骤2.3、根据步骤2.1得到的阈值信息，将图像的深度信息进行分层，在不同的层里对图像探测到的障碍物和雷达探测到的障碍物进行融合；

步骤2.4、融合时要根据障碍物所处不同的距离给图像传感器和雷达传感器不同的置信度；

步骤2.5、根据不同的置信度，采用卡尔曼滤波的方法来计算确定障碍物的距离、速度和方位信息。

4.根据权利要求1所述的方法，其特征在于，所述步骤3具体为：

步骤3.1、根据融合后的信息最终确定障碍物的距离、速度以及方位信息，通过声音编码的方式，即将障碍物的距离信息映射到声音的响度上，将障碍物的方位映射到声音的音色上，将障碍物的运动速度及其方向映射到声音的频率上，根据这个规则将探测到障碍物的信息编码成声音信号。

步骤3.2、将编码生成的非语义声音信号传递给设备佩戴者。

5.根据权利要求4所述的方法，其特征在于，所述步骤3.2中，非语义声音信号通过有线耳机、蓝牙耳机或骨传导耳机传递给设备佩戴者。

6.一种基于增强型双目图像传感器与3D毫米波雷达的可穿戴避障装置，其特征在于，包括图像传感器、雷达传感器、信息融合模块和信息交互模块，将图像传感器和雷达传感器通过一刚性连接架固定在一起，保证两个传感器在一个平面内；

所述图像传感器为增强型具有深度信息的双目图像系统，该系统包含有主动投射器、红外双目相机、彩色单目相机和图像处理器，红外双目相机和彩色单目相机均与图像处理器相连，所述主动投射器向外投射红外散斑；在室内环境光照度小于500lx的情况下，主动光投射器向外投射红外散斑，并且该散斑经过调制，打在障碍物上，反射光被红外相机接收，障碍物改变了散斑的状态，经过图像处理器计算散斑的状态就能知道障碍物的深度信息；在室外环境光照度大于500lx的情况下，红外双目相机通过纯双目相机的方式，计算出障碍物的深度信息，此外彩色单目相机获取普通的彩色信息；再使用深度学习的方法在彩色信息中确定障碍物的外部轮廓，并将该轮廓映射到深度图中，从而得到障碍物的距离信息，同时利用Mean Shift方法跟踪障碍物，并计算出速度信息；

所述雷达传感器为3D毫米波雷达传感器，用于获取障碍物在空间中的距离和速度的三维坐标；

所述信息融合模块将图像传感器和雷达传感器检测到的障碍物通过数据融合的方式最终确定障碍物的距离、速度和方位信息；

所述信息交互模块将障碍物的距离、速度和方位信息，通过声音编码的方式，告知设备穿戴者。