[发明专利]一种数据处理方法、装置和用于数据处理的装置

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

基于手语翻译模型，确定手语图片序列对应的目标文本序列；其中，所述手语翻译模型包括：卷积神经网络、长短期记忆网络和映射模块，所述卷积神经网络用于提取所述手语图片序列的图像特征；所述长短期记忆网络，用于对所述图像特征进行时序建模，以得到所述手语图片序列对应的时序特征向量；所述映射模块，用于根据所述时序特征向量，确定所述手语图片序列对应的目标文本序列；

输出所述目标文本序列。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述目标文本序列进行语音合成，以得到所述目标文本序列对应的语音信息；

输出所述语音信息。

3.根据权利要求1所述的方法，其特征在于，所述手语图片序列为对采集的手语视频序列进行分帧处理，得到的预置大小的图片序列。

4.根据权利要求1所述的方法，其特征在于，通过如下步骤训练所述手语翻译模型：

基于卷积神经网络，对输入的手语图片序列样本进行特征提取，以得到所述手语图片序列样本对应的图像特征；

基于长短期记忆网络，对所述图像特征进行时序建模，以得到所述手语图片序列样本对应的时序特征向量；

基于映射模块，确定所述时序特征向量对应的估计文本序列；

根据所述估计文本序列、以及所述手语图片序列样本对应的标注文本序列，确定所述手语翻译模型的损失；

根据所述手语翻译模型的损失，对所述卷积神经网络、长短期记忆网络和映射模块的参数进行更新。

5.根据权利要求4所述的方法，其特征在于，所述根据所述估计文本序列、以及所述手语图片序列样本对应的标注文本序列，确定所述手语翻译模型的损失，包括：

基于连接时序分类函数，根据所述估计文本序列、以及所述手语图片序列样本对应的标注文本序列，确定所述手语翻译模型的损失。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

在所述标注文本序列中的任意字符的前面或后面添加空白标签；

所述根据所述估计文本序列、以及所述手语图片序列样本对应的标注文本序列，确定所述手语翻译模型的损失，包括：

根据所述估计文本序列、以及添加所述空白标签后的标注文本序列，确定所述手语翻译模型的损失。

7.根据权利要求4至6中任一所述的方法，其特征在于，所述确定所述时序特征向量对应的估计文本序列，包括：

依据所述卷积神经网络、长短期记忆网络和映射模块的参数，对手语图片序列样本进行卷积神经网络、长短期记忆网络和映射模块的前向传播操作，以得到所述手语图片序列样本对应的估计文本序列；

所述对所述卷积神经网络、长短期记忆网络和映射模块的参数进行更新，包括：

依据所述手语翻译模型的损失，进行所述卷积神经网络、长短期记忆网络和映射模块的反向传播操作，以得到所述卷积神经网络、长短期记忆网络和映射模块的更新后参数。

8.一种数据处理装置，其特征在于，包括：

文本确定模块，用于基于手语翻译模型，确定手语图片序列对应的目标文本序列；其中，所述手语翻译模型包括：卷积神经网络、长短期记忆网络和映射模块，所述卷积神经网络用于提取所述手语图片序列的图像特征；所述长短期记忆网络，用于对所述图像特征进行时序建模，以得到所述手语图片序列对应的时序特征向量；所述映射模块，用于根据所述时序特征向量，确定所述手语图片序列对应的目标文本序列；

文本输出模块，用于输出所述目标文本序列。