[发明专利]手语识别方法及装置

权利要求书

1.一种手语识别方法，其特征在于，包括：

将已获取的待识别手语视频划分为多个子视频；

对各个所述子视频进行特征提取，得到与每个所述子视频对应的特征数据；

对各个所述特征数据进行编码，以生成与每个所述子视频对应的时序特征数据；

应用预先设置的连接时序分类CTC解码器，按各个所述时序特征数据的时序，依次对各个所述时序特征数据进行解码，得到第一输出结果；所述第一输出结果包含与所述待识别视频对应的各个自然语言数据的第一概率值；

在所述第一输出结果中，按各个所述第一概率值由大至小的顺序，选取预设数目的自然语言数据，以组成待识别结果集合；

应用预先设置的长短时记忆LSTM解码器确定所述待识别结果集合中的各个所述自然语言数据分别对应的第二概率值；

依据各个所述第一概率值及各个所述第二概率值，在所述待识别结果集合中选定目标自然语言数据，并将所述目标自然语言数据确定为与所述待识别手语视频对应的识别结果。

2.根据权利要求1所述的方法，其特征在于，所述将已获取的待识别手语视频划分为多个子视频，包括：

调用预先设置的滑动窗，按预设的步长，从所述待识别手语视频的起始端依次提取与所述滑动窗的窗长匹配的子视频；

其中，所述窗长大于所述步长。

3.根据权利要求1所述的方法，其特征在于，所述应用预先设置的CTC解码器，按各个所述时序特征数据的时序，依次对各个所述时序特征数据进行解码，得到第一输出结果，包括：

将每个所述时序特征数据分别与预设的各个自然语言单词进行匹配，得到每个所述时序特征数据分别与各个所述自然语言单词对应的自然语言概率分布；

基于所述概率分布确定与待识别视频对应的各个自然语言数据的第一概率值；

将各个所述第一概率值组成第一输出结果。

4.根据权利要求1所述的方法，其特征在于，所述在所述第一输出结果中，按各个所述第一概率值由大至小的顺序，选取预设数目的自然语言数据，包括：

依据第一概率值的大小，对所述第一输出结果中的各个第一概率值进行排序，并由大至小的选取预设数目的所述第一概率值；确定已选取的各个所述第一概率值分别对应的自然语言数据；

或，

将所述第一输出结果中的各个第一概率值与预先设置的概率阈值进行比较，得到多个大于所述概率阈值的所述第一概率值；在所述多个大于所述概率阈值的所述第一概率值中，由大至小的选取预设数目的所述第一概率值，并确定已选取的各个所述第一概率值分别对应的自然语言数据。

5.根据权利要求1所述的方法，其特征在于，所述依据各个所述第一概率值及各个所述第二概率值，在所述待识别结果集合中选定目标自然语言数据，并将所述目标自然语言数据确定为与所述待识别手语视频对应的识别结果，包括：

基于所述第一概率值及所述第二概率值对待识别结果集合中的各个所述自然语言数据进行评分，得到评分结果；

依据所述评分结果在所述待识别结果集合中确定与所述待识别手语视频对应的目标自然语言数据；

将所述目标自然语言数据确定为与所述待识别手语视频对应的识别结果。