[发明专利]一种智能感知机器导盲控制方法、存储介质、系统、装置

权利要求书

1.一种智能感知机器导盲控制方法，其特征在于，所述智能感知机器导盲控制方法包括：

接收到激活字段后，通过线上语音识别库进行识别，将识别结果送入百度地图API进行目的地选择，目的地选择完成后将进入待机状态，等待STM32F103发送的外部环境数据包；

物理传感器采集外部环境数据，接收高精度定位原始数据，并将当前位置信息通过GSM模块发送至手机APP中，用于实时显示盲人所在位置；

读取航向角数据，并对这些数据进行初步处理，提取定位数据与航向角数据中的有效信息进行打包，通过串口发送至TX2；

TX2接收到首个数据包后，将其中的定位数据提取出来作为路径规划的起始点，同时调用路径规划算法，将路径中的关键节点标注出来，完成路径规划后TX2进入多线程工作模式；

在多线程工作模式中，TX2将控制高清摄像头采集前方路面信息，把路面信息与串口接收到的定位、航向角数据送入编写好的路径规划算法、障碍物与红绿灯检测算法以及盲道位置识别算法中，计算出当前的运动方向、前方是否有障碍物、当前所处盲道位置三个信息，将这三个信息打包发送至STM32F103中，在STM32F103中解包这些数据并与物理传感器采集到的数据进行融合，综合判断前方路况以及目前所处位置；

所述智能感知机器导盲控制方法的红外测距模块位于智能感知机器导盲犬前端两侧，正常状态下正对智能感知机器导盲犬运行方向，当检测阈值范围内出现障碍物后，机器导盲犬开始向无障碍的一侧转向，若两侧均有障碍则向距离障碍物较远的一侧转向，将根据航向角数据的改变控制舵机做反向旋转，保持红外测距模块一直正对此前检测到障碍物的方向，在转向的同时能够有效检测水平方向的位移距离是否避开了障碍物；当机器导盲犬进入到避障转向程序中时，此时的红外传感器所检测的位置发生了改变，不能够检测机器导盲犬正方向上的障碍物，在机器导盲犬前方正中央加装了一枚超声波测距模块，测距方向始终为机器导盲犬正方向，用于弥补避障转向过程中红外测距的检测盲区，共同完成避障功能；高精度卫星定位模块与航向角传感器组成定位模块，卫星定位模块采用差分技术；

所述智能感知机器导盲控制方法的路径规划算法在东北天坐标系下，选取路径点上的关键节点，取两两节点为一个路径片段，计算相连两段路径片段的航向角变化值，当航向角变化值超过一定阈值时则判断其运动方向发生变化，最后将规划道路上的所有节点与道路段信息计算完成后存储在内存中；

所述智能感知机器导盲控制方法的障碍物与红绿灯检测算法采用Darknet神经网络进行训练及测试，首先制作数据集，使用爬虫爬取互联网上所需的20000张图片，采用labe1Img工具对图片进行标注，直接生成xml文件；数据集制作完成后，开始训练模型，不断修改迭代次数，学习率，检测obj、IOU、AVgRecall指标，以获得最优的权值，训练完成后部署于TX2上进行实际测试，并对检测到的目标位置进行提取。

2.如权利要求1所述的智能感知机器导盲控制方法，其特征在于，所述智能感知机器导盲控制方法的盲道识别算法采用计算机视觉实现，首先对高清摄像头采集到的视频数据进行重采样，将采集到的图像原始数据从RGB模型转换为HSV模型，根据颜色边界将盲道分割出来，分割完成后的盲道区域边缘锐利，图片其他区域存在大小不等的噪点，通过中值滤波等方式平滑盲道边缘，滤除噪点；图片预处理完成后提取其最大连通域便可得到盲道的轮廓曲线，求出盲道区域的中心点在图片中的位置，可得当前所处的盲道位置。

3.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1~2任意一项所述智能感知机器导盲控制方法。