[发明专利]一种穿戴式智能感知导盲系统

说明书

本发明公开一种穿戴式智能感知导盲系统,包括有MCU主控单元、双目摄像头、语音播报模块、GPS定位模块、本地储存器、4G/5G通信接口以及天线，所述双目摄像头通过USB接口与MCU主控单元相连接，所述GPS定位模块通过UART接口与MCU主控单元相连接，所述本地储存器通过总线接口与MCU主控单元相连接，所述4G/5G通信接口通过DTU接口与MCU主控单元相连接，在所述4G/5G通信接口上连接有天线，语音播报模块通过UART接口与MCU主控单元相连接；由双目摄像头来采集环境信息，MCU主控单元运用CNN深度学习神经网络模型，来检测视障人士行走通道上的各类障碍物，确定障碍物的距离和方位，合理规划行走路线，同时在交通路口识别斑马线及红绿灯，通过语音提示视障人士的行走。

技术领域

本发明涉及导盲领域，尤其涉及一种穿戴式智能感知导盲系统。

背景技术

中国是世界盲人最多的国家,约有1200万,占全世界盲人口的18％，作为社会群体中的特殊人群，他们终生生活在无边的黑暗中，因此常常会遇到各种难题，目前市场上的一些导盲产品大多结构简单而功能单一(只能简单提示前方有障碍物)，虽然有些产品使用方便，但辅助效果并不明显，而且，视障朋友在使用时会碰到诸多问题，比如路况不好，坑洼不平，前方有悬挂的障碍物等等，普通的导盲产品无法准确的探明。现有导盲产品的障碍物探测功能，仅仅局限于对障碍物的距离进行探测，不能对障碍物所在方位进行精确定位，并且只能对单一障碍物进行探测，如在多运动障碍物的探测中，仅仅能够探测到离使用者距离最近的障碍物，因此使得产品的导盲功能实用性大幅度降低。

关于智能导盲设备如导盲眼镜，在国际和国内都有团队和公司进行过研究，但由于性能以及使用体验不理想等原因始终停留在性能检测与小批量试产阶段，至今并未形成规模化市场。尤其是在国内，对视障人士辅助导盲设备的研发更是处于起步阶段，距大规模产品化、商业化还有很长的一段距离，而且就目前而言，我国针对导盲设备的市场空间还远没有达到发展普及阶段，因此，解决这一类的问题显得尤为重要。

发明内容

针对上述问题，本发明提供了一种穿戴式智能感知导盲系统，运用机器视觉和人工智能技术对环境进行3D建模，对环境中的静态和动态障碍物进行检测和识别，获取障碍物所在区域，并计算出相对视障人士的距离和方位，采用九方格地图进行有效行走路径规划，通过语音播报前方路况信息，提示视障人士行走与避障。本发明能在动态环境下，感知环境中障碍物的空间位置，规划出供视障人士行走的路线，为视障人士的出行提供方便。

为了实现上述技术方案，本发明提供了一种穿戴式智能感知导盲系统,包括有MCU主控单元、双目摄像头、语音播报模块、GPS定位模块、本地储存器、4G/5G通信接口以及天线，所述双目摄像头通过USB接口与MCU主控单元相连接，所述GPS定位模块通过UART接口与MCU主控单元相连接，所述本地储存器通过总线接口与MCU主控单元相连接，所述4G/5G通信接口通过DTU接口与MCU主控单元相连接，在所述4G/5G通信接口上连接有天线，语音播报模块通过UART接口与MCU主控单元相连接；由双目摄像头来采集环境信息，MCU主控单元运用CNN深度学习神经网络模型，来检测视障人士行走通道上的各类障碍物，确定障碍物的距离和方位，合理规划行走路线，同时在交通路口识别斑马线及红绿灯，通过语音提示视障人士的行走。

进一步改进在于，所述MCU主控单元为Xavier NX主控板，在所述Xavier NX主控板中部署深度学习障碍物检测与识别算法和双目测距算法以及视障人士行走通道识别以及导航与避障算法。

进一步改进在于，所述MCU主控单元通过V4L2来实现双目摄像头的拍摄，首先使用V4L2获取双目摄像头参数，检测双目摄像头支持的格式，使用VIDIOC_S_FMT设置驱动的频捕获模式并计算其大小；然后申请帧缓冲数量为1，在内存中建立对应空间，通过mmap建立映射关系，将申请到的缓冲送入队列并开始捕捉图像。