[发明专利]一种手语实时转换为语音的方法

说明书

本发明公开了一种手语实时转换为语音的方法，包括步骤一、采用摄像机采集手语者的视频数据；二、采用帧差法对手语者的视频数据进行识别并提取，得到关键帧；三、将关键帧输入到OpenPose系统中，提取出手语者的人体和手部的关键点坐标；四、坐标转换为数字特征信息；五、将数字特征信息划分为训练集和验证集；六、构建神经网络模型，将训练集输入到神经网络模型中进行训练，并通过验证集进行验证并更新，得到训练好的神经网络；七、将训练好的神经网络的手语识别结果实时转换为语音输出。本发明方法步骤简单，数据计算量较小，鲁棒性好，能够有效应用在手语翻译中，在满足识别精度的同时提升识别速度，使用效果好，便于推广使用。

技术领域

本发明属于手语识别技术领域，具体涉及一种手语实时转换为语音的方法。

背景技术

受先天性聋哑或后天性耳聋症等因素的影响，聋哑人士与健听人士的沟通交流方式主要是手语。手语是用手势比量动作，根据手形的变化、手的位置和方向、手臂摆动、面部表情等模拟形象或者音节以构成的一定意思或词语，是聋哑人和外界沟通交流的一种语言。而大部分健听人士未曾学习过手语，与聋哑人士在日常的生活交际中存在巨大的障碍，这一问题引起了社会的广泛关注。

随着计算机科学技术的快速发展，手语识别成为了计算机前沿技术的研究热点。目前手语识别领域的研究主要分为传统识别方法与基于深度学习的识别方法两种。传统的手语特征优化方法包括方向梯度直方图金字塔(HOG)、格拉斯曼协方差矩阵模型(HGCM)等，传统的分类模型包括K近邻分类(KNN)、支持向量机(SVM)、相关向量机(RVM)等，传统的时序建模模型包括动态时间调整(DTW)和隐马尔可夫模型(HMM)等。这些方法大多依赖于手工提取手部形状与方向特征，需要耗费大量时间，且大多数方法只适用于静态手语的识别，需要建立复杂的时序关系来识别动态手语，这些因素导致基于传统的手语识别方法发展受限，难以满足人们对手语识别的需求。

目前，随着计算机性能的大幅度提升，深度学习技术逐渐兴起。基于深度学习的手语识别利用强大的学习能力和拟合能力可获取更全面、更抽象的空间与时序特征，能自动对手语动作的变换与细节进行建模，可以避免人工经验特征提取的主观性及繁琐性，有效提高了手语识别率，突破了传统手语识别方法的局限性。如Li等人通过金字塔型BiLSTM网络来查找手语关键动作,有效解决了手语的时序建模问题,并达到了较高的准确度。Kopuklu等人提出将手语视频的运动信息融入到静态的手语图像中,并使用CNN网络对融合后的特征进行分离,取得了较好的识别效果。Chai等人将手语动作划分为RGB数据和骨架数据,分别送入双流RNN网络的两端进行得分融合,在2016年的Chalearn手势识别大赛中取得了第一的成绩。但这些方法均未关注到手语视频自身含有的大量冗余信息，冗余信息存在着干扰性，且手语中发生手势遮挡时，识别精度较低，使得手语更加难以识别分类，且占用了大量的存储与计算资源，难以在进一步提升识别精度的同时满足速度要求，这成为了一个尚需解决的问题。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种手语实时转换为语音的方法，其方法步骤简单，数据计算量较小，实现方便，鲁棒性好，能够有效应用在手语翻译中，在满足识别精度的同时提升识别速度，使用效果好，便于推广使用。

为解决上述技术问题，本发明采用的技术方案是：一种手语实时转换为语音的方法，包括以下步骤：

步骤一、采用摄像机采集手语者的视频数据；

步骤二、采用帧差法对所述手语者的视频数据进行识别并提取，得到关键帧；

步骤三、将所述关键帧输入到OpenPose系统中，提取出手语者的人体和手部的关键点坐标；

步骤四、将所述人体和手部的关键点坐标转换为数字特征信息；

步骤五、将所述数字特征信息划分为训练集和验证集；