[发明专利]手语识别方法及装置

说明书

本发明提供了一种手语识别方法，包括：对各个子视频进行特征提取得到与每个子视频对应的特征数据；对各个特征数据进行编码得到与每个子视频对应的时序特征数据；应用预先设置的CTC解码器，按各个时序特征数据的时序，依次对各个时序特征数据进行解码，得到第一输出结果；在第一输出结果中，按各个第一概率值由大至小的顺序选取预设数目的自然语言数据以组成待识别结果集合；应用预先设置的LSTM解码器确定所述待识别结果集合中的各个所述自然语言数据对应的第二概率值；依据第一概率值及第二概率值，在待识别结果集合中选定目标自然语言数据。通过CTC解码器及LSTM解码器共同解码，能有效的提升手语识别的精度。

技术领域

本发明涉及数据处理领域，特别涉及一种手语识别方法及装置。

背景技术

随着信息技术的发展，基于机器学习的连续手语识别技术也得到了极大的发展。手语是聋哑人士获取信息及表达信息的一种重要方式，聋哑人士通常通过手语来与他人进行沟通，这需要交流的双方都要懂得手语，而正常人学习手语需耗费大量的时间和精力，故而大部分正常人的手语水平较低，难以与聋哑人士进行交流。因此，连续手语识别技术对聋哑人的沟通具有重大意义。

然而，现有的基于机器学习的连续手语识别技术中，往往对包含手语的视频的识别准确率低，因此，如何提高手语视频的识别准确率成为本领域技术人员迫切解决的问题。

发明内容

本发明所要解决的技术问题是提供一种手语识别方法，能够能基于连接时序分类(Connectionist Temporal Classification，CTC)解码器及长短时记忆(Long Short TermMemory，LSTM)解码器共同对待识别手语视频进行识别，有效的提升手语识别的准确率。

本发明还提供了一种手语识别装置，用以保证上述方法在实际中的实现及应用。

一种手语识别方法，包括：

将已获取的待识别手语视频划分为多个子视频；

对各个所述子视频进行特征提取，得到与每个所述子视频对应的特征数据；

对各个所述特征数据进行编码，以生成与每个所述子视频对应的时序特征数据；

应用预先设置的连接时序分类CTC解码器，按各个所述时序特征数据的时序，依次对各个所述时序特征数据进行解码，得到第一输出结果；所述第一输出结果包含与所述待识别视频对应的各个自然语言数据的第一概率值；

在所述第一输出结果中，按各个所述第一概率值由大至小的顺序，选取预设数目的自然语言数据，以组成待识别结果集合；

应用预先设置的LSTM解码器确定所述待识别结果集合中的各个所述自然语言数据分别对应的第二概率值；

依据各个所述第一概率值及各个所述第二概率值，在所述待识别结果集合中选定目标自然语言数据，并将所述目标自然语言数据确定为与所述待识别手语视频对应的识别结果。

上述的方法，可选的，所述将已获取的待识别手语视频划分为多个子视频，包括：

调用预先设置的滑动窗，按预设的步长，从所述待识别手语视频的起始端依次提取与所述滑动窗的窗长匹配的子视频；

其中，所述窗长大于所述步长。

上述的方法，可选的，应用预先设置的CTC解码器，按各个所述时序特征数据的时序，依次对各个所述时序特征数据进行解码，得到第一输出结果，包括：

将每个所述时序特征数据分别与预设的各个自然语言单词进行匹配，得到每个所述时序特征数据分别与各个所述自然语言单词对应的自然语言概率分布；

基于所述概率分布确定与待识别视频对应的各个自然语言数据的第一概率值；