[发明专利]一种导盲系统

权利要求书

1.一种导盲系统，在眼镜的两个镜片上分别安装性能和参数相同的高清摄像头形成双目摄像头，两个摄像头关于眼镜的中轴对称，两个摄像头以设置的固定频率采集使用者前方的环境图像，并压缩为jpeg格式，其特征在于，所述系统还包括视觉取样模块、语音交互模块、本地图像识别模块、远程信息处理模块、按键控制模块及通讯模块，其中，

所述视觉取样模块，用户通过语音输入或按键控制选择对拍摄图像进行本地处理或远程处理，根据选择结果将拍摄的图像信息传送至所述本地图像识别模块或所述远程信息处理模块；

所述语音交互模块与所述视觉取样模块相连，用于语音识别和语音合成，将用户的语音信息转化成系统指令下发，同时播报所述本地图像识别模块或所述远程信息处理模块传送的txt文本；用户的手机通过蓝牙连接所述导盲系统，能够通过选用的内置的语音合成芯片将文本信息转换成语音信息播放，以便及时获取信息；

所述本地图像识别模块，以针对移动和嵌入式设备的轻量级卷积神经网络为框架，对所述视觉取样模块的图像信息进行特征提取与目标检测并结合双目深度估计原理完成距离定位，将检测结果生成txt文本，根据用户的选择传送至所述语音交互模块，如果检测到用户与障碍物的距离小于设定的安全距离，则直接传送至所述语音交互模块；

所述远程信息处理模块，在远程计算机或云服务器上搭建软件平台，构建高精度深层卷积神经网络，用于实现比所述本地图像识别模块更详细的图像检测算法及优化语言处理，当用户选择采用所述远程信息处理模块进行目标检测时，能够检测出除避障必备的障碍信息及交通信息之外的其他信息，将检测结果生成txt文本，结合所述语音交互模块进行播报，实现具体画面描述；如果检测到用户与障碍物的距离小于设定的安全距离，则直接传送至所述语音交互模块；

所述按键控制模块，在眼镜框的左右两侧分别设置3个按键，每个按键的按下与弹起分别对应相应的指令，实现命令的传输，其中，

左一按键：用于控制是否播报所述本地图像识别模块或所述远程信息处理模块生成的txt文本，按下即选择播报txt文本，弹起则不播报；

左二按键：用以控制是否系统自动更新，按下则选择是，弹起则选择否；

左三按键：用以控制是否打开语音输入，按下则开启语音输入，弹起则关闭；

右一按键：用以控制是否开启上网功能，按下则开启，弹起则关闭；

右二按键：用以控制是否开启电源，按下则开启，弹起则关闭；

右三按键：用以控制音量；

所述通讯模块，通过5G网络将所述系统与云服务器及其他无线设备连接，把所述视觉取样模块采集的图像上传到所述远程信息处理模块，经远程分析后传回并反馈给用户。

2.根据权利要求1所述的导盲系统，其特征在于，所述本地图像识别模块中的轻量级卷积神经网络，包含通道数分别为8，16，32，64的4个卷积层和2个全连接层，其中，

最后一个全连接层作为输出层输出1000类物体分类向量；

当数据经过除全连接层之外的每个层的运算后，均使用标准化进行归一化处理，并采用ReLU激活函数添加非线性；

卷积层使用3*3的卷积核，通过给源图像或特征图设置padding补全保证每次卷积运算特征尺寸恒定，分别在通道数为16和32的卷积层后添加池化层；

模型训练阶段在服务器端进行，采用GPU硬件加速网络训练，利用本地采集的图像数据或Imagenet作为基准数据集完成训练和性能评测，将训练固定的模型参数用于本地图像识别。