[发明专利]基于云端计算的盲人智能导航眼镜系统及装置

权利要求书

1.基于云端计算的盲人智能导航眼镜系统，其特征在于，包括数据采集模块、数据分析模块、数据处理模块；

数据采集模块：使用单目摄像头采集当前场景视频信息，使用超声波传感器测量当前场景无法识别的障碍物距离，将场景视频信息通过ZeroMQ消息传输协议上传至云端服务器；

数据分析模块：通过部署在云端服务器的目标检测算法和测距避障算法对上传的视频图像进行分析，完成目标检测、人脸识别、场景判定、测距定位任务；

所述目标检测算法包含基于改进YOLOv3的目标检测算法和基于opencv人脸检测算法；

基于改进YOLOv3的目标检测算法，使用K-means聚类算法对数据集的先验框进行聚类分析，选出适合本数据集的先验框数目以及大小，同时改进网络结构，增加一个目标检测层，再采用多尺度训练；

采用1-IOU作为K-means算法的距离度量公式，基于交并比的距离度量公式如下：

d(box,centroid)＝1-IOU(box,centroid)

式中，centroid是聚类中心，box则是标注框，d(box,centroid)是每一个标注框与每一个聚类中心之间的距离，IOU(box,centroid)是标注框与聚类中心的交并比；

数据处理模块：将视频图像分析结果通过ZeroMQ消息传输协议返回至主板，通过对视频图像分析结果和障碍物距离信息进行关键词提取、匹配中文字符、追加单位、添加字句，将分析结果解析成一段完整的语句，完成播报语句的生成，最后调用语音合成技术将播报语句转换为语音播报给盲人；

所述数据处理模块中分析结果解析包括以下步骤：

(1)目标检测，对检测出来的目标进行中文字符匹配；

(2)判断检测出来的目标是否包含“person”目标，若包含便进行人脸识别，将识别出来的身份提取；

(3)从检测出来的目标中选择具有场景代表性的目标判定盲人当前所在的场景，将判定出来的场景提取；

(4)对检测出来的目标进行测距、定位，提取场景、距离、目标中文字符；

(5)对无法识别的障碍物使用超声波模块进行测距，并提取障碍物测距信息；

(6)以上关键词提取的顺序为：场景、距离、目标中文字符、障碍物测距信息，对提取的关键词进行匹配中文字符、追加单位、添加字句，使其成为一段完整的语句。

2.根据权利要求1所述的基于云端计算的盲人智能导航眼镜系统，其特征在于，所述改进网络结构为，YOLOv3算法使用Darknet-53网络进行特征提取，网络输出三种尺寸的特征层进行目标检测，特征层的大小分别为13×13、26×26、52×52，对52×52特征层进行2倍上采样，获取104×104尺寸的特征层，然后将上采样得到的104×104特征层与原有网络中4倍下采样得到的浅层104×104尺寸的卷积层进行融合，通过卷积操作后，组成4倍下采样的特征融合目标检测层。

3.根据权利要求1所述的基于云端计算的盲人智能导航眼镜系统，其特征在于，所述测距避障算法是基于线性回归的单目测距与避障算法，在测距方面，该算法将采集的目标距离与该目标在图像中的垂直高度进行回归拟合，通过调节自由度，获取最佳测距回归模型；在定向方面，该算法通过计算目标在图像中的重心，并根据重心落入图像的位置判断目标所在方向。

4.根据权利要求1所述的基于云端计算的盲人智能导航眼镜系统，其特征在于，所述基于opencv人脸检测算法，利用Haar特征完成人脸检测，使用积分图对Haar-like特征求值，同时使用AdaBoost算法训练出强分类器将人脸和非人脸区分开来，最后将强分类器级联。