[发明专利]一种基于语法分类器的视频连续手语识别方法及系统

权利要求书

1.一种基于语法分类器的视频连续手语识别方法，其特征在于，包括：

获取原始手语视频；

将获取的所述原始手语视频切分为多个视频段；

基于残差连接的三维卷积神经网络对各个视频段进行时空域特征提取；

对提取到的所述时空域特征利用双向长短时记忆网络进行上下文学习，得到手语视频的特征；

采用最大池化层对所述视频的特征做全局池化，得到所述原始手语视频的特征向量；

基于所述特征向量，采用单词分类器模块给出句子中每个单词对应的置信度分数；

基于所述特征向量，采用元组分类器模块给出句子中每个多元组的置信度分数；所述元组分类器是一个以句子中所有多元组为标签的多标签分类器，记所述句子中的一个单词、相邻两个单词和相邻三个单词分别为一元组、二元组和三元组，所述多元组包括一元组、二元组和三元组；

基于所述单词分类器模块给出的句子中每个单词对应的置信度分数和元组分类器模块给出的句子中每个多元组的置信度分数，确定出手语识别结果。

2.根据权利要求1所述的方法，其特征在于，所述基于所述单词分类器模块给出的句子中每个单词对应的置信度分数和元组分类器模块给出的句子中每个多元组的置信度分数，确定出手语识别结果，包括：

基于所述单词分类器模块给出的句子中每个单词对应的置信度分数和元组分类器模块给出的句子中每个多元组的置信度分数，采用贪心解码算法确定出手语识别结果。

3.根据权利要求2所述的方法，其特征在于，所述基于所述单词分类器模块给出的句子中每个单词对应的置信度分数和元组分类器模块给出的句子中每个多元组的置信度分数，采用贪心解码算法确定出手语识别结果，包括：

将所述单词分类器模块给出的单词置信度分数与所述元组分类器模块给出的该单词所在元组的置信度分数之和最高对应的单词逐个解码出，进而得到手语句子，作为手语识别结果输出。

4.根据权利要求1所述的方法，其特征在于，所述将获取的所述原始手语视频切分为多个视频段，包括：

以滑窗的形式将获取的所述原始手语视频切分为多个视频段。

5.根据权利要求2所述的方法，其特征在于，所述单词分类器模块包括多个分类器，其中，每个分类器识别一个手语单词。

6.一种基于语法分类器的视频连续手语识别系统，其特征在于，包括：

获取模块，用于获取原始手语视频；

切分模块，用于将获取的所述原始手语视频切分为多个视频段；

残差连接的三维卷积神经网络模块，用于对各个视频段进行时空域特征提取；

双向长短时记忆网络模块，用于对提取到的所述时空域特征进行上下文学习，得到手语视频的特征；

池化模块，用于采用最大池化层对所述视频的特征做全局池化，得到所述原始手语视频的特征向量；

单词分类器模块，用于基于所述特征向量给出句子中每个单词对应的置信度分数；

元组分类器模块，用于基于所述特征向量给出句子多元组的置信度分数；所述元组分类器是一个以句子中所有多元组为标签的多标签分类器，记所述句子中的一个单词、相邻两个单词和相邻三个单词分别为一元组、二元组和三元组，所述多元组包括一元组、二元组和三元组；

识别模块，用于基于所述单词分类器模块给出的句子中每个单词对应的置信度分数和元组分类器模块给出的句子中每个多元组的置信度分数，确定出手语识别结果。

7.根据权利要求6所述的系统，其特征在于，所述识别模块在执行基于所述单词分类器模块给出的句子中每个单词对应的置信度分数和元组分类器模块给出的句子中每个多元组的置信度分数，确定出手语识别结果时，具体用于：

基于所述单词分类器模块给出的句子中每个单词对应的置信度分数和元组分类器模块给出的句子中每个多元组的置信度分数，采用贪心解码算法确定出手语识别结果。