[发明专利]运用单语料回译的手语翻译方法及系统

权利要求书

1.一种运用单语料回译的手语翻译方法，其特征在于，包括：

训练阶段：通过特征提取器提取所有手语视频片段的特征，构成手语视频特征序列，并通过时域建模器，在时域层面对手语视频特征序列进行建模，结合给定的手语注释序列得到手语注释概率矩阵，同时对特征提取器进行训练；之后，利用手语视频特征序列与给定的手语注释序列构建手语片段特征库；利用单语料回译的方式结合单语料的口语序列集合生成注释序列集合，并在手语片段特征库中索引出对应的手语片段特征，通过拼接的方式按照时间顺序组成特征序列，从而得到对应的手语特征序列集合；利用单语料的口语序列集合与手语特征序列集合训练序列转换器，所述序列转换器用于将手语特征序列转换为口语文本；

测试阶段：对于待翻译的手语视频，利用训练阶段得到的特征提取器与序列转换器，完成手语视频到口语文本的翻译；

其中，利用单语料回译的方式结合单语料的口语序列集合生成注释序列集合，并在手语片段特征库中索引出对应的手语片段特征，通过拼接的方式按照时间顺序组成特征序列，从而得到对应的手语特征序列集合包括：

首先，利用标注好的成对的口语序列集合Y和注释序列集合G，训练得到能够从口语序列到注释序列的口语到注释转换器；然后，将单语料的口语序列集合Y′，输入口语到注释转换器，生成对应的注释序列集合G′，注释序列集合G′中的每一条数据均为一个注释序列；利用构建的手语片段特征库，根据注释序列索引出对应的特征，通过拼接的方式按照时间顺序组成特征序列，从而将注释序列集合G′转换为手语特征序列集合F′。

2.根据权利要求1所述的一种运用单语料回译的手语翻译方法，其特征在于，所述手语视频片段产生方式包括：

将手语演示视频分解成图像帧序列然后将T个图像帧组合成N个视频片段；其中，x_t表示第t个图像帧，T表示图像帧总数，每个视频片段的滑动窗口为w，每次向右滑动s帧，则组成N＝T/S个视频片段。

3.根据权利要求1所述的一种运用单语料回译的手语翻译方法，其特征在于，所述特征提取器由多层卷积层组成；所有手语视频片段输入至特征提取器后，得到手语视频特征序列其中，f_n是一个多维向量，作为第n个手语视频片段中手语视觉信息的向量化表达，N为手语视频片段总数。

4.根据权利要求1所述的一种运用单语料回译的手语翻译方法，其特征在于，所述通过时域建模器，在时域层面对手语视频特征序列进行建模，结合给定的手语注释序列得到手语注释概率矩阵，同时对特征提取器进行训练包括：

所述手语视频特征序列输入至时域建模器后，利用联结时序分类算法的前向公式，得到手语注释层面的条件概率，从而得到每一时刻的手语注释概率矩阵，所述联结时序分类算法的前向公式为：

其中，π表示手语视频片段与手语注释序列的对齐路径，B表示联结时序分类算法的映射规则；x表示所有手语视频片段对应的图像帧序列，f表示手语视频特征序列；g表示给定的手语注释序列；p(g|x)表示预测图像帧序列x的手语注释序列为g的条件概率，p(π|f)表示预测手语视频特征序列f与手语注释序列g的对齐路径为π的条件概率；

利用联结时序分类算法的损失函数L＝-lnp(g|x)对特征提取器进行训练。

5.根据权利要求1所述的一种运用单语料回译的手语翻译方法，其特征在于，所述利用手语视频特征序列与手语注释序列构建手语片段特征库的步骤包括：

对于每一个手语视频片段，基于联结时序分类算法的规则B，得到最大概率的对齐路径π’，表示为：

其中，π表示手语视频片段与注释的对齐路径，f表示手语视频特征序列，p(π|f)表示预测手语视频特征序列f与给定的手语注释序列g的对齐路径为π的条件概率；

根据每一个手语视频片段的对齐路径π′，得到每一个视频片段所对应的手语注释；以手语注释的词汇表作为索引表，将相应手语视频片段的特征根据索引储存在词汇表中对应注释词的储存槽中，最终得到手语片段特征库。