[发明专利]一种基于深度学习的实时手语手势识别系统

说明书

本发明公开一种基于深度学习的实时手语手势识别系统，目的是解决现有利用手部骨骼关节点识别手语手势成本昂贵的问题；目前想获取手部骨骼关节点的三维坐标，需要使用可穿戴式的设备或者使用深度摄像头，使得实验成本大大增加，所以本发明利用谷歌MediaPipe框架，只需要使用一个普通摄像头来获得手部的三维坐标点；再通过训练好的深度神经网络GoogLeNet模型，实现实时手语手势识别；同时，本发明相较于传统的图像处理方式，速度更快，准确率更高，大大提高工作效率。

技术领域

本发明涉及人工智能领域，尤其涉及一种基于深度学习的实时手语手势识别系统。

背景技术

据世界卫生组织的数据统计，全球患有听力障碍的疾病的人数超过2.5亿。对于普通人来说一般采用口语结合书面语的方式，适当配合身体姿势和人的表情来进行交际，而聋哑人交流主要是使用手语语言。

手语是一种借助手势来表达使用者意图的肢体语言，其经过手部的形状、位置、运动轨迹和方向来组合成为一个手语词。虽然在日常生活中聋哑人可以使用手语来表达自己的看法，但其中也有诸多不便。比如，大多数普通人并不了解手语，无法与聋哑人进行沟通。因此，手语识别技术便成了聋哑人与世界沟通的一种方法。所谓的手语识别是通过计算机技术对聋哑人使用的手语进行语义分析，进而转化为普通人能看懂或听懂的文字或声音的一种计算机技术。手语识别技术的研究不仅能够对聋哑人的生活学习以及工作条件进行改善和提高，为他们提供更优质的服务。特别是在例如医院，车站等一些公共场所，手语识别技术更加有着广泛的应用，能够帮助聋哑人更好的融入社会，享受生活。同时，手语识别技术也可以应用于双语电视节目的播放、计算机辅助哑语教学、电影特效、虚拟人的研究、医疗研究、游戏娱乐、动画的制作等诸多方面。

目前，本次是主要基于英语手语字母进行手语识别的研究，手语如用口语，有其独立的语系。甚至在每个国家内部都有不同的手语用法，而且各国的风俗习惯大不相同，有时贸然使用手语，还会造成不必要的麻烦或危险。因此英语作为世界上使用最广泛的语言，研究英语字母手语是有很大意义的。

发明内容

本发明的目的在于有效的利用MediaPipe框架的优势，提供一种不借助其他任何复杂传感器的设备，仅凭普通摄像头对英文手语字母的26种手语手势和3种功能手势进行实时识别。该系统通过手部上各特征点到手腕点的空间距离组成一个多维数组，通过训练好的神经网络以及帧流结果稳定原则识别出手语手势。

本发明的目的是这样实现的：对每一种类手语手势进行多角度拍照，将收集的图像组成数据集，利用MediaPipe框架识别手部位置并提取图像中的特征点，通过神经网络的训练实现对29种手语手势进行识别，所述方法包括：

步骤一、利用MediaPipe框架获取手语手势各个特征点的三维坐标信息。

步骤二、根据手部的特征点的三维坐标信息计算各个关节点到手腕特征点的欧式距离。

步骤三、根据上述特征信息计算的欧氏距离组成的数列，代入卷积神经网络模型GoogLeNet，使用三元组损失函数最终识别出待识别的手语手势。

步骤四、取连续m帧识别的手语手势相一致的作为最终确定的识别结果。

进一步地，所述步骤一具体为：通过pycharm集成编译环境利用python语言调用MediaPipe框架识别手部位置，并获得手部各个特征点。

进一步地，所述步骤二具体为：通过上一步骤得到了21个三维坐标点，拿出一个坐标点作为基本点，计算其它20个坐标点到这个点的距离，具体包括：由于手语手势的识别属于静态手语识别，在MediaPipe框架下得到的手部特征点坐标中的0点偏向于手腕位置，手腕位置在手语手势中位置特征信息可以忽略不计，所以基于此点建立三维坐标系，得到其余点到原点的空间距离，形成每一幅图得到一组数据。