[发明专利]一种穿戴式智能感知导盲系统

权利要求书

1.一种穿戴式智能感知导盲系统,其特征在于：包括有MCU主控单元、双目摄像头、语音播报模块、GPS定位模块、本地储存器、4G/5G通信接口以及天线，所述双目摄像头通过USB接口与MCU主控单元相连接，所述GPS定位模块通过UART接口与MCU主控单元相连接，所述本地储存器通过总线接口与MCU主控单元相连接，所述4G/5G通信接口通过DTU接口与MCU主控单元相连接，在所述4G/5G通信接口上连接有天线，语音播报模块通过UART接口与MCU主控单元相连接；由双目摄像头来采集环境信息，MCU主控单元运用CNN深度学习神经网络模型，来检测视障人士行走通道上的各类障碍物，确定障碍物的距离和方位，合理规划行走路线，同时在交通路口识别斑马线及红绿灯，通过语音提示视障人士的行走。

2.根据权利要求1所述的穿戴式智能感知导盲系统，其特征在于，所述MCU主控单元为Xavier NX主控板，在所述Xavier NX主控板中部署深度学习障碍物检测与识别算法和双目测距算法以及视障人士行走通道识别以及导航与避障算法。

3.根据权利要求1所述的穿戴式智能感知导盲系统，其特征在于，所述MCU主控单元通过V4L2来实现双目摄像头的拍摄，首先使用V4L2获取双目摄像头参数，检测双目摄像头支持的格式，使用VIDIOC_S_FMT设置驱动的频捕获模式并计算其大小；然后申请帧缓冲数量为1，在内存中建立对应空间，通过mmap建立映射关系，将申请到的缓冲送入队列并开始捕捉图像。

4.根据权利要求3所述的穿戴式智能感知导盲系统，其特征在于，由于拍摄的图像格式为YUYV，该格式较大且不便于传输及查看，因此对其进行格式转换，首先将YUYV转换为RGB格式，再使用JPEG压缩为jpg格式，最后保存图像，解除内存映射空间。

5.根据权利要求2所述的穿戴式智能感知导盲系统，其特征在于，所述双目测距算法根据视差原理模拟人类的双眼，通过左右视图获取目标的三维信息，具体步骤如下：

步骤一：使用未标定的双目摄像头拍摄20对左右视图数据，以完成相机的标定和立体校正；

步骤二：校正信息保存为OpenCV的yml文件；

步骤三：标定完成后，直接拍摄左右视图并使用BM算法测距，每次测距时，模块初始化，读取包含校正信息的yml文件，进行立体匹配获取深度图；

步骤四：待障碍物检测识别算法计算后，将检测框坐标与深度图匹配，选取检测框中心点位置输出距离信息；

步骤五：将深度图平均分为三个像素区域，分别为左前方、前方、右前方，并根据检测框中心点所在像素位置确定方位，输出目标的方位信息。

6.根据权利要求2所述的穿戴式智能感知导盲系统，其特征在于，所述深度学习障碍物检测与识别算法以Darknet-YOLOv3为框架，并基于GoogleNet的卷积神经网络，采用Darknet-53作为特征提取主干网络。

7.根据权利要求2所述的穿戴式智能感知导盲系统，其特征在于，视障人士行走通道识别以及导航与避障算法的实现步骤为：

步骤一：运用机器视觉和人工智能技术对环境进行3D建模，所述3D建模的模型地图为包括有九个有效区域的九方格地图，将九方格地图中的底部中间位置处的有效区域方格作为用户落脚点的起始方格，每一个有效区域的方格的边长设置为0.5m，视障人士下一步的行走路径以起始方格为基准，以左方、右方、左前方、正前方或右前方的方格为即将行走的规划路线，路径规划的结果根据当前前方有效区域内的障碍物分布来确定；

步骤二：找出有效区域内距离视障人士最近的一个和多个目标，将其映射到九方格所在区域内；

步骤三：标出每个目标在九方格地图上的位置和覆盖区域，目标的位置以检测到的目标框为基准，目标的覆盖区域就是检测框检测到的区域；

步骤四：方格有效性检测，方格有效性由覆盖每个方格的目标的区域和大小确定，具体针对每个格子所在位置的不同有不同的计算方法；

步骤五：规划有效行走路径，对于标记为无效的方格均为不可通行区域，路径规划时均认为是非通行区；有效路径的规划是以起始方格S32为出发点，沿左方、右方、左前方、正前方和右前方5个方向查找是否存在可通行区域，可通行区域必须是有效方格所在区域，如果找到可以通行的区域，就将其标识为可通行路径，如果存在多条可通行路径就依次按正前方、左前方、右前方、左方、右方的优先级顺序选择最优路线。