[发明专利]一种基于深度学习技术的视觉辅助系统

权利要求书

1.一种基于深度学习技术的视觉辅助系统，其特征在于：包括数据采集单元、数据预处理单元、环境感知单元和用户接口单元；

其中数据采集单元用于感知周围环境的信息，并将感知到的数据传输至数据预处理单元；数据预处理单元对接收到的数据进行预处理，然后将预处理好的数据传输至环境感知单元；环境感知单元接收数据后进行基于深度学习技术的障碍物检测，得到周围环境中障碍物的类别、位置及距离，然后将检测到的周围环境的障碍物信息处理成文本信息，并将文本信息送入用户接口单元；用户接口单元将文本信息转化成语音，供用户获知周围的环境的障碍物情况；

所述数据预处理单元包括图像预处理单元和传感器预处理单元，其中图像预处理单元用于对摄像头捕捉到的图像帧信息进行翻转、缩放、裁剪、图像增强这些处理；传感器预处理单元用于计算出超声波发射与接收的时间差，并通过比较时间差与预设的危险警报阈值时间的大小，决定时间差是输入用户接口单元还是输入环境感知单元：如果时间差小于预设的危险警报阈值时间，时间差会直接输入到用户接口单元，提示用户危险；如果时间差大于预设的危险警报阈值时间，时间差会输入到环境感知单元，交由环境感知单元进行下一步骤的处理，

时间差的计算公式如下：

时间差与预设的危险警报阈值时间比较结果的计算公式如下：

其中，表示第n个时刻与第n-1个时刻判决的结果，表示第i个传感器的第n个时刻，表示第i个传感器的第n-1个时刻，T_diff表示预先设定的警报阈值，用于判定传感器方向上是否有目标。

2.根据权利要求1所述的基于深度学习技术的视觉辅助系统，其特征在于：所述数据采集单元包括超声波传感器和摄像头，超声波传感器用于发射超声波信号与接收超声波信息，并记录下发射超声波和接收超声波的时间信息，然后将时间信息传输至数据预处理单元；所述摄像头用于捕捉周围环境中的图像帧信息，并将捕捉到的图像帧信息传输至数据预处理单元。

3.根据权利要求2所述的基于深度学习技术的视觉辅助系统，其特征在于：所述环境感知单元包括目标检测单元和障碍物检测单元，预处理好的图像数据输入至目标检测单元中，通过基于深度学习技术的目标检测方法对图像中的目标进行检测，得到目标的类别，并确定目标的位置；而预处理好的传感器数据输入至障碍物检测单元中，计算出障碍物距离用户的距离；目标检测单元检测的目标的类别、位置及障碍物检测单元检测的障碍物距离用户的距离融合成文本信息；然后将融合的文本信息输入至用户接口单元。

4.根据权利要求3所述的基于深度学习技术的视觉辅助系统，其特征在于：所述用户接口单元包括震动警报单元、语音识别单元和语音合成单元，其中震动警报单元用于在传感器预处理单元比较到时间差低于危险警报阈值时间时，接收传感器预处理单元传输的时间差，然后进行报警提示；语音识别单元通过语音识别算法识别用户下发的指令，实现系统预设的功能；语音合成单元用于将环境感知单元输出的文本信息转化成语音，供用户获知周围的环境的障碍物情况。

5.根据权利要求4所述的基于深度学习技术的视觉辅助系统，其特征在于：所述语音合成单元利用TTS算法将环境感知单元输出的文本信息转化成语音。

6.根据权利要求5所述的基于深度学习技术的视觉辅助系统，其特征在于：所述目标检测单元基于深度学习技术的目标检测方法在网络结构实现上包含了23层的卷积神经网络；网络结构包含卷积层、最大池化层和旁路层。