[发明专利]一种基于RNN的手语识别与骨架生成方法

说明书

本发明公开了一种基于RNN的手语识别与骨架生成方法，具体包括以下步骤：步骤1、使用Kinect RGB‑D数据集采集中国手语的骨架帧序列，输入到RNN隐藏层进行两次编码重构，并计算输出中国手语语义标签；步骤2、根据中国手语语义，生成与步骤1中编码后概率密度分布相同的骨架序列，经过二级概率模型进行解码；步骤3、将步骤2中解码后的骨架序列输入到步骤1中进行识别，计算生成数据与真实数据的损失量，将误差回传，不断更新系统参数，极小化损失函数，从而最终得到骨架识别和生成框架，用于中国手语的识别与生成。当给定CSL语义时，利用本发明可以自动识别并绘制具有不同样式的各种中国手语骨架序列，方便聋人与普通人之间的沟通。

技术领域

本发明属于手语识别方法技术领域，涉及一种基于RNN的手语识别与骨架生成方法。

背景技术

手语识别是一种能够将手语信息转化成语音、文字并进行朗读或显示的技术。中国手语(CSL，Chinese signal language)的自动识别和生成是聋哑人与普通人之间双向沟通的关键技术。以前的大多数研究都集中在CSL识别上。然而，CSL识别只是聋哑人和普通人之间沟通的一个方面，另一个具有挑战性的任务是教会机器自动绘制生成CSL，以便可以将普通人的想法转化成手语向聋哑人表达出来。

现有技术中，手语识别的方法主要有以下几种：

第一种，手语识别通常采用HMM(Hidden Markov Model，隐马尔科夫)，这种方法在模型中引入了前一状态对当前状态的影响，通过计算输出概率最大化来实现手语的识别；第二种，连续手语识别也可采用CRF(Conditional Random Field，条件随机场)，这种方法在模型中引入上下文信息，需要对训练特征进行左右扩展，并引入人工特征模板进行训练。传统方法中首先分别训练得到手语模型，然后采用逐级预测的方式对待识别手语进行识别。第三种，采用机器学习算法如SVM、BP神经网络搭建语言模型进行识别。这种需要事先人工采集并标注好数据，进行监督式学习。

现有技术中，中国手语骨架生成方法主要有以下几种：

第一种，变分自编码器(VAE：Variational Autoencode)分为编码器和解码器两个部分。其能力来源实际上是大量样本经过学习编码后，在数字层面对编码结果进行微调，再解码生成图片的过程。所生成的图片，是对原样本图的某种变形模仿。

第二种，生成对抗网络GAN(Generative adversarial networks)分为生成模型和判别模型。GAN是通过对抗过程来估计生成模型的框架。在这种框架下，需要同时训练两个网络，即一个能获取数据分布的生成模型G和一个估计数据来源于真实样本概率的判别模型D。生成器的训练目的是最大化判别器犯错误的概率，而判别器的训练过程是最小化犯错误的概率。为了构建生成模型，始终训练生成器以匹配数据分布，同时还训练鉴别器以在最小-最大优化框架中分离实际和生成的数据。

2、现有技术的客观缺点：

现有中国手语识别三种方法主要存在以下问题：虽然采用左右扩展的方式能在一定程度引入前后状态的关联，但是为了减小模型规模和复杂度，扩展大小十分有限，因此链接前后的距离不能太远，造成当前时刻对前面状态感知能力的下降；采用监督式学习，需要人工进行标注数据，数据采集工作繁琐，工作量大。并未考虑非线性扰动对识别结果的影响，当数据有小的扰动的时候，识别算法稳定性不强，每一层都需要被高强度训练。

现有中国手语骨架生成方法主要存在以下问题：没有全局优化，比不上监督学习的性能，多层失效对通用目标的表征而言，重建输入可能不是理想的指标；难以训练和转换问题，可用性差。

发明内容

本发明的目的是提供一种基于RNN的手语识别与骨架生成方法，解决了现有技术中存在的手语识别方法数据采集工作量大，和识别、骨架生成方法没有全局优化的问题。