[发明专利]一种基于多层次语义解析的手语翻译系统及方法

权利要求书

1.一种基于多层次语义解析的手语翻译系统，其特征包括：特征提取模块，精细层语义解析模块，粗略层语义对齐模块；

所述特征提取模块，是采用深度学习的方法搭建并训练基于2D卷积神经网络的特征提取模型，并使用所述特征提取模型从数据库的长时手语视频中提取视频帧特征；

所述精细层语义解析模块，是对所述视频帧特征中的多个特征进行串联和学习，得到多个视素单元，并对所视素单元进行串联和池化操作，获得多个等长的视觉子动作；再通过聚类操作，将所述视觉子动作转换成一连串的动作块，并从所述动作块中采样出相同维度尺寸的动作块特征；

所述粗略层语义对齐模块，是采用深度学习的方法搭建并训练基于循环神经网络的序列转换模型，用于对所述动作块特征所构成的序列进行转换，得到一连串解码的单词序列，并使用联结主义时序分类模型对所述单词序列进行翻译，从而输出完整的手语自然语句。

2.一种基于多层次语义解析的手语翻译方法，其特征是按如下步骤进行：

步骤1、提取视频帧特征：

采用深度学习的方法搭建并训练基于2D卷积神经网络的特征提取模型，并使用所述特征提取模型从数据库的长时手语视频中提取视频帧特征其中，T表示所述长时手语视频的总帧数，f_t代表第t帧的视频帧特征；

步骤2、学习视素单元：

利用式(1)得到第n个的视素单元g_n，从而得到视素单元集合N表示视素单元的数量：

式(1)中，f_2n-1表示第2n-1帧的视频帧特征，f_2n表示第2n帧的视频帧特征，表示串联操作，FC(·)表示使用全连接网络进行计算；若视频帧特征总数T为奇数，则第T帧的视频帧特征；

步骤3、获取视觉子动作：

利用式(2)得到视觉子动作集合S表示视觉子动作的数量，h_s代表第s个的视觉子动作：

式(2)中，表示串联操作，MaxPool(·)表示最大化池化；

步骤4、聚合动作块特征：

步骤4.1：在[0,1]范围内随机设定一个相关系数阈值λ；

步骤4.2：初始化s＝1；

步骤4.3：根据式(3)计算所述视觉子动作集合H中的第s个视觉子动作h_s与其相邻视觉子动作h_s+1的相关系数Q_s：

式(3)中，hⁱ_s表示第s个视觉子动作h_s所表示的向量中第i个位置的值，hⁱ_s+1表示第s+1个视觉子动作h_s+1所表示的向量中第i个位置的值，I为视觉子动作所表示的向量的总长度；

步骤4.4：若Q_s≤λ，则将对应的相邻视觉子动作h_s和h_s+1划分为一类后，执行步骤4.5；否则，直接执行步骤4.5；

步骤4.5：将s+1赋值给s后，判断s＞S是否成立，若成立，则表示获得所述视觉子动作集合H中的所有相邻的视觉子动作之间的相关系数和分类结果；否则，返回步骤4.3执行；

步骤4.6：将连续多个被划分为一类的视觉子动作作为一个动作块，进而得到动作块序列其中，M表示动作块的数量，k_m表示第m个动作块；

步骤4.7：对第m个动作块k_m进行固定维度的采样并得到采样后的动作块特征k′_m，从而得到动作块特征序列

步骤5、转换单词序列：

步骤5.1：采用深度学习的方法构建基于循环神经网络的序列转换模型RNN，将动作块特征序列K′输入序列转换模型RNN，从而根据式(4)得到转换后的动作块特征序列K″：

式(4)中，RNN(·)表示序列转换模型，k″_m表示转换后的第m个动作块特征；

步骤5.2：将转换后的动作块特征序列K″输入全连接网络FC(·)，从而根据式(3)计算概率得分矩阵P：

式(5)中，p_m表示转换后的第m个动作块特征k″_m对应的概率向量，根据概率向量p_m中最大值的位置得到第m个解码单词w_m，从而解码出单词序列

步骤6、翻译手语句子：

将所述单词序列W中连续重复出现的单词进行合并，再删除所有表示过渡动作的单词，从而得到处理后的单词序列并作为最终翻译输出的手语自然语句。