[发明专利]一种基于深度学习目标检测的盲人辅助行走方法和系统

说明书

本发明公开了一种基于深度学习目标检测的盲人辅助行走方法和系统，构建基于YoLov2模型优化的DarkNet‑19的目标检测模型，利用训练集训练DarkNet‑19目标检测网络，利用开发集测试训练出来的模型，并根据测试结果优化来不断优化模型；根据训练优化后的DarkNet‑19目标检测网络获得模型权重文件，将模型权重文件读取至融合非极大值抑制算法的ImageAI库中，得到辅助盲人行走检测模型，利用测试集验证辅助盲人行走检测模型至达到收敛条件；获取待检测监控视频，采用辅助盲人行走检测模型检测该监控视频中每一实时监控图片中的路面情况，将盲人路上遇到的各种障碍物、交通情况，和路面信息反馈给盲人，解决了现有的盲人辅助行走工具智能化程度低，不能安全、准确地辅助盲人行走的技术问题。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习目标检测的盲人辅助行走方法和系统。

背景技术

盲人作为一类弱势群体，在日常生活上存在很多的不便，受到了各界的关注。盲人在出行的时候，通常是依靠盲人杆或导盲犬等辅助出行，但是在很多路面情况下，盲人杆和导盲犬无法进行分辨，比如寻找斑马线、判断红绿灯是否能通行等。同时，还存在很多地方比如超市、汽车站等，并没有铺设盲人走道，导致盲人很多时候寸步难行，发生安全事故，在没有他人帮助的情况下，盲人很难安全到达目的地。因此，提供一种智能化程度高的盲人辅助行走方法，以便于辅助盲人安全、准确行走，是本领域技术人员亟待解决的技术问题。

发明内容

本发明提供了一种基于深度学习目标检测的盲人辅助行走方法和系统，用于解决现有的盲人辅助行走工具智能化程度低，不能安全、准确地辅助盲人行走的技术问题。

有鉴于此，本发明第一方面提供了一种基于深度学习目标检测的盲人辅助行走方法，包括：

获取海量的经过图像多类型标定的图像样本，划分为训练集、开发集和测试集；

构建基于YoLov2的Darknet-19网络模型，使用训练集训练Darknet-19网络模型，得到初步的模型权重文件；

使用开发集对模型权重文件进行分类阈值过滤，将预测值低于阈值的锚框，得到优化后的模型权重文件；

将优化后的模型权重文件读取至融合非最大值抑制算法的ImageAI库中，得到初步的多分类图像目标检测模型；

使用测试集对多分类图像目标检测模型进行验证，若满足收敛条件，则验证通过，得到最终的多分类图像目标检测模型，若不满足收敛条件，则返回训练Darknet-19网络模型的步骤；

获取盲人行走的实时环境图像数据，将实时环境图像数据输入最终的多分类图像目标检测模型进行环境目标识别，将环境目标识别结果以语音播报方式反馈给盲人。

可选地，训练集、开发集和测试集的图像样本比例为8:1:1。

可选地，在Tensorflow深度学习框架下使用训练集训练Darknet-19网络模型，训练过程包括：

对训练集中的图像样本进行图像增强；

对图像样本归一化为416*416大小，对每个图像样本进行减均值处理；

在Tensorflow深度学习框架下建立Darknet-19网络模型，Darknet-19网络模型包括19个卷积层和5个2×2的maxpooling层，19个卷积层包括12个3×3卷积层和7个设置在3×3卷积层之间用于压缩特征图的1×1卷积层，采用global avg pooling做预测。每个卷积层后面连接有batch norm层；

将减均值处理后的图像样本输入Darknet-19网络模型中进行训练。

可选地，收敛条件为均值平均精度大于阈值K。

可选地，阈值K为0.5。