[发明专利]连续手语识别分词方法及装置

权利要求书

1.一种连续手语识别分词方法，其特征在于，应用于连续手语识别分词系统，所述连续手语识别分词系统包括文本提取模型以及并行多尺度视觉特征特提取模型，具体包括如下步骤：

将连续手语识别数据集输入至文本提取模型提取连续手语识别数据集中的手语单词文本特征；

利用连续手语识别数据集确定手语识别数据视频，将所述手语识别数据视频输入至所述并行多尺度视觉特征特提取模型，以对所述手语识别数据视频按照不同的时间跨度进行分割，提取多尺度手语视觉特征；

利用所述手语单词文本特征以及所述多尺度手语视觉特征对所述连续手语识别分词系统进行训练。

2.根据权利要求1所述的方法，其特征在于，所述文本提取模型包括：文本特征提取子模型以及映射子模型。

所述将连续手语识别数据集输入至文本提取模型提取连续手语识别数据集中的手语单词文本特征的步骤包括：

将连续手语识别数据集输入至文本特征提取子模型以提取连续手语文本特征

将所述连续手语文本特征输入至映射子模型，对所述连续手语文本特征进行维度转换，输出所述手语单词文本特征。

3.根据权利要求1所述的方法，其特征在于，所述利用连续手语识别数据集确定手语识别数据视频，将所述手语识别数据视频输入至所述并行多尺度视觉特征特提取模型，以对所述手语识别数据视频按照不同的时间跨度进行分割，提取多尺度手语视觉特征的步骤中，所述并行多尺度视觉特征提取模型包括ResNet18G_sp(.；θ_sp)、并行多尺度时序网络G_hpt(.；θ_hpt)和视频帧序列网络G_se(.；θ_se)。

4.根据权利要求3所述的方法，其特征在于，所述并行多尺度时序网络包含H层并行时序网络；

第H层并行时序网络的操作如下：

—第H层并行时序网络中的第r个一维扩张卷积层；

—第H层并行时序网络的输入特征，表示第一个PT网络结构的输入特征；

—第H层并行时序网络的输出特征；

—第H层并行时序网络中单个一维扩张卷积层的输出特征；

*—卷积运算；

W_r∈^d×3,b_r∈^d—指代扩张卷积层的权重和偏置，

d—特征维数；

R^1×1—卷积核为1的1D卷积层；

BN—批次归一化层；

Relu—Relu激活函数；

—多尺度手语视觉特征。

5.根据权利要求4所述的方法，其特征在于，所述视频帧序列网络G_se(.；θ_se)由BI-GRU单元以及全连接层组成，具体结构如下：

f_GRU＝G_se(f_HPT)；

—BI-GRU的输出特征，表示整合了手语视频中多尺度时序信息和序列信息的手语视觉特征；

f_Cls＝G_se(f_HPT)＝Fc(Bigru(f_HPT))；

—|C|类的类别概率矩阵，|C|表示手语语料库中单词的总数；

Bigru—BI-GRU层；

Fc—全连接层。

6.根据权利要求5所述的方法，其特征在于，所述利用所述手语单词文本特征以及所述多尺度手语视觉特征对所述连续手语识别分词系统进行训练的步骤中，

构建目标函数，将所述目标函数加入至所述文本提取模型以及行所述多尺度视觉特征特提取模型以对连续手语识别分词系统进行训练。