[发明专利]一种手语识别方法及系统

权利要求书

1.一种手语识别方法，其特征在于，包括：

采集目标区域内的手语视频；

利用预设分层长短期记忆网络提取所述手语视频的特征表示，采用预设长短时记忆神经网络来建模所述手语视频中单词之间的上下文关系，获得文本语义特征；

将所述手语视频的特征表示和所述文本语义特征在预设循环神经网络转化器中连接，拟合出最优路径，实现所述手语视频的特征表示和所述文本语义特征的对齐。

2.根据权利要求1所述的方法，其特征在于，所述利用预设分层长短期记忆网络提取所述手语视频的特征表示，采用预设长短时记忆神经网络来建模所述手语视频中单词之间的上下文关系，获得文本语义特征的步骤之前，包括：

将所述手语视频转化成图像帧；

将所述图像帧中的静止帧去除，并按预设裁切规则处理，得到特征帧。

3.根据权利要求2所述的方法，其特征在于，所述利用预设分层长短期记忆网络提取所述手语视频的特征表示，采用预设长短时记忆神经网络来建模所述手语视频中单词之间的上下文关系，获得文本语义特征的步骤，包括：

采用残差网络提取所述特征帧中的图像特征；

采用分层长短期记忆网络逐层提取所述图像特征中的关键帧。

4.根据权利要求2所述的方法，其特征在于，所述利用预设分层长短期记忆网络提取所述手语视频的特征表示，采用预设长短时记忆神经网络来建模所述手语视频中单词之间的上下文关系，获得文本语义特征的步骤，还包括：

采用预设单向长短时记忆网络对所述手语视频对应的句子进行单词建模，得到单词之间的依赖关系和上下文语义关系。

5.一种手语识别系统，其特征在于，包括：

视频采集模块，用于采集目标区域内的手语视频；

特征提取模块，用于利用预设分层长短期记忆网络提取所述手语视频的特征表示，采用预设长短时记忆神经网络来建模所述手语视频中单词之间的上下文关系，获得文本语义特征；

序列对其模块，用于将所述手语视频的特征表示和所述文本语义特征在预设循环神经网络转化器中连接，拟合出最优路径，实现所述手语视频的特征表示和所述文本语义特征的对齐。

6.根据权利要求5所述的系统，其特征在于，还包括：

转化模块，用于将所述手语视频转化成图像帧；

图像处理模块，用于将所述图像帧中的静止帧去除，并按预设裁切规则处理，得到特征帧。

7.根据权利要求6所述的系统，其特征在于，所述特征提取模块包括：

视频特征表示单元，用于采用残差网络提取所述特征帧中的图像特征；

文本特征提取单元，用于采用分层长短期记忆网络逐层提取所述图像特征中的关键帧。

8.根据权利要求6所述的系统，其特征在于，所述特征提取模块还包括：

映射单元，用于采用预设单向长短时记忆网络对所述手语视频对应的句子进行单词建模，得到单词之间的依赖关系和上下文语义关系。

9.电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的手语识别方法的步骤。

10.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的手语识别方法的步骤。