[发明专利]一种基于深度学习的手势识别辅助交流系统

说明书

本发明涉及交流系统领域，具体涉及一种基于深度学习的手势识别辅助交流系统，包括：胸针，内载单目视觉传感器，用于实现手势交流动作视频和交流对象语音视频数据的采集，并将采集到的手势交流动作视频和交流对象语音视频数据传输至腕带；腕带，内载智能处理终端，用于实现手势交流动作视频内载交流信息的识别，并将识别的交流信息转换成音频数据经语音播放模块进行播放；还用于实现交流对象音频视频数据内载交流信息的识别，并将识别到的交流信息转换成手语数据经视频播放模块进行播放。

技术领域

本发明涉及交流系统领域，具体涉及一种基于深度学习的手势识别辅助交 流系统。

背景技术

手语是聋哑残疾人使用的语言，是一种靠动作和视觉进行交际的特殊语言。 然而让大多数正常人掌握并运用手语直接与聋哑残疾人进行交流显然是不现 实的。目前聋哑人与正常人之间的沟通仅仅限于以懂手语的正常人做翻译等手 段，在很大程度上限制了不懂手语的正常人对聋哑残疾人的理解，给聋哑残疾 人的日常生活、学习和工作带来极大的不便。

发明内容

为解决上述问题，本发明提供了一种基于深度学习的手势识别辅助交流系 统，可以实现聋哑残疾人与正常人的交流。

为实现上述目的，本发明采取的技术方案为：

一种基于深度学习的手势识别辅助交流系统，包括：

胸针，内载单目视觉传感器，用于实现手势交流动作视频和交流对象语音 视频数据的采集，并将采集到的手势交流动作视频和交流对象语音视频数据传 输至腕带；

腕带，内载智能处理终端，用于实现手势交流动作视频内载交流信息的识 别，并将识别的交流信息转换成音频数据经语音播放模块进行播放；还用于实 现交流对象音频视频数据内载交流信息的识别，并将识别到的交流信息转换成 手语数据经视频播放模块进行播放。

进一步地，所述胸针呈纽扣状，其上配置一用于控制单目视觉传感器启闭 的按钮和一用于为胸针内载的蓄电池充电的充电口。

进一步地，所述智能处理终端内载一数据处理系统，包括：

手势交流信息识别模块，用于基于DSSD_Xception_coco模型实现手势 交流动作视频内载交流信息的识别，并将识别的交流信息转换成音频数据；

音频交流信息识别模块，用于基于Xception模型实现交流对象音频视频 数据内载交流信息的识别，并将识别到的交流信息转换成手语数据。

进一步地，所述DSSD_Xception_coco模型采用DSSD目标检测算法，用 coco数据集预训练Xception深度神经网络，然后用先前准备好的手语图像及 其对应的音频数据集训练该模型，微调深度神经网络中的各项参数，最后得到 合适的用于识别手势交流动作视频内载交流信息的目标检测模型。

进一步地，所述腕带上安装有一触控屏，用于输入文字信息，TMS320DM6446 处理器接收到数字信号后经过处理将信号传输给中文语音合成芯片，中文语音 合成芯片将数字转化成语音信号，再经语音播放模块进行播放。

进一步地，所述数据处理系统内载：

数据分类模块，用于基于无限深度网络模型实现手势交流动作视频和交流 对象语音视频数据的分类。

进一步地，所述胸针和腕带基于蓝牙模块实现通讯。

进一步地，所述胸针支持手机蓝牙连接功能，对应的配置一手机APP系统， 手机APP系统内载：

数据分类模块，用于基于无限深度网络模型实现手势交流动作视频和交流 对象语音视频数据的分类；

手势交流信息识别模块，用于基于DSSD_Xception_coco模型实现手势 交流动作视频内载交流信息的识别，并将识别的交流信息转换成音频数据进行 播放；