[发明专利]一种基于深度学习的实时中文手语识别交互系统

说明书

本发明公开了一种基于深度学习的实时中文手语识别交互系统，包括图像采集模块，用于采集人体作出手语动作时人体影像图像；图像处理模块，用于对图像采集模块的人体影像图像进行归一化处理后得到待识别的图像信息；图像推理模块，用于提取图像信息中面部关键点坐标和手部关键点坐标，并将面部关键点坐标和手部关键点坐标发送给信息匹配模块；信息匹配模块，用于在事先训练好的手语识别模型中搜索与面部关键点坐标和手部关键点坐标最匹配的手语单词，将手语单词发送给内容融合模块；并发送给内容输出模块；优点是实现了无纸化、便携化交流的目标，具有识别准确率高、识别响应速度快、适用范围广、便携、操作简单等优点。

技术领域

本发明涉及一种手语识别系统，尤其涉及一种基于深度学习的实时中文手语识别交互系统。

背景技术

手语是一种不使用语音，通过手势、肢体动作和面部表情等方式表达的一种语言，它作为聋哑人士及健听人士的主要沟通渠道，在日常生活中发挥着十分重要的作用。据北京听力协会预估数据，全球聋哑人士中，有近一半的人需要通过手语进行日常沟通，与此同时，随着计算机技术的迅速普及和发展，人们己经不再满足于现在的鼠标和键盘结合的图像用户界面，而是不断的探索更加符合人类习惯的语音交互和手势交互。而手语比简单的手势含有更多的信息，手语的表现细节也比手势更复杂，因此利用更加智能便捷的人机交互方式帮助聋哑人更好地融入社会已成发展大势。

目前，主流的手语识别交互系统主要基于机器设备的硬件识别，其最初是依靠机器设备直接检测手、胳膊各关节的角度和空间，再通过计算机系统与用户相互连接，典型设备如数据手套等，但是这种方式非常依赖于传感器组件，虽然检测效果良好，但是能够识别的种类有限，并且造价往往十分昂贵，后来诞生的光学标记方法虽然效果更好，但是仍然需要比较复杂的设备，也只能识别静态动作。

因此如何更加高效实现聋哑人士与健听人士之间的双向智慧交互成为本技术领域亟待解决的技术问题。

发明内容

为了解决上述现有技术中存在的不足，本发明提供一种基于深度学习的实时中文手语识别交互系统，其实现了无纸化、便携化交流的目标，具有识别准确率高、识别响应速度快、适用范围广、便携、操作简单等优点。

本发明解决上述技术问题所采用的技术方案为：一种基于深度学习的实时中文手语识别交互系统，包括

图像采集模块，用于采集人体作出手语动作时人体影像图像；

图像处理模块，用于对所述图像采集模块的人体影像图像进行归一化处理后得到待识别的图像信息；

图像推理模块，与所述图像处理模块连接，用于提取图像信息中面部关键点坐标和手部关键点坐标，并将面部关键点坐标和手部关键点坐标发送给信息匹配模块；

信息匹配模块，用于在事先训练好的手语识别模型中搜索与所述面部关键点坐标和所述手部关键点坐标最匹配的手语单词，将所述手语单词发送给内容融合模块；

内容融合模块，用于通过加权平均对手语单词进行融合，得到最终的手语单词预测结果，并发送给内容输出模块；

内容输出模块，用于分别提取连续手语的空间特征和时间特征，并根据手语单词预测结果生成连续手语动作的全局语义信息，形成文字信息后显示在屏幕或形成语音信息后进行播报。

所述图像采集模块采用摄像头，所述人体影像图像包括实时采集的手语动作图像以及在训练时对每种手势采集若干个不同场景、不同拍摄角度、不同手语人的图像。

所述图像处理模块采用openpose关键点起始帧检测算法以避免无效帧输入对模型准确性的影响，所述openpose关键点起始帧检测算法步骤如下，

步骤一：通过openpose数据获取人体影像图像，从openpose提供的接口获取人在执行目标动作下的人体关节点数据；