[发明专利]一种数据处理方法、装置和用于数据处理的装置

说明书

本发明实施例提供了一种数据处理方法、装置和用于数据处理的装置。其中的方法具体包括：基于手语翻译模型，确定手语图片序列对应的目标文本序列；其中，所述手语翻译模型包括：卷积神经网络、长短期记忆网络和映射模块，所述卷积神经网络用于提取所述手语图片序列的图像特征；所述长短期记忆网络，用于对所述图像特征进行时序建模，以得到所述手语图片序列对应的时序特征向量；所述映射模块，用于根据所述时序特征向量，确定所述手语图片序列对应的目标文本序列；输出所述目标文本序列。本发明实施例不仅可以减少人工选取图像特征的操作成本，而且可以提高提取图像特征的准确性。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据处理方法、装置和用于数据处理的装置。

背景技术

手语是听力障碍或无法言语的特殊用户用来交流的方式之一，但是正常用户通常不了解手语，因此，正常用户与特殊用户之间的交流十分困难。

目前，正常用户与特殊用户可以借助手语翻译工具进行交流。以中文为例，手语翻译工具可以对正常用户输入的文字进行识别，并将文字转换为手语词汇所对应的手语动作。或者，手语翻译工具还可以将特殊用户做出的手语动作转换为对应的文字。

然而，在实际应用中，由于不同用户的手语动作可能存在较大的差异性，因此在将手语动作转换为文字的过程中，经常出现转换错误的情况，导致手语翻译的准确率不高。

发明内容

本发明实施例提供一种数据处理方法、装置和用于数据处理的装置，可以提高手语翻译的准确率。

为了解决上述问题，本发明实施例公开了一种数据处理方法，包括：

基于手语翻译模型，确定手语图片序列对应的目标文本序列；其中，所述手语翻译模型包括：卷积神经网络、长短期记忆网络和映射模块，所述卷积神经网络用于提取所述手语图片序列的图像特征；所述长短期记忆网络，用于对所述图像特征进行时序建模，以得到所述手语图片序列对应的时序特征向量；所述映射模块，用于根据所述时序特征向量，确定所述手语图片序列对应的目标文本序列；

输出所述目标文本序列。

另一方面，本发明实施例公开了一种数据处理装置，包括：

文本确定模块，用于基于手语翻译模型，确定手语图片序列对应的目标文本序列；其中，所述手语翻译模型包括：卷积神经网络、长短期记忆网络和映射模块，所述卷积神经网络用于提取所述手语图片序列的图像特征；所述长短期记忆网络，用于对所述图像特征进行时序建模，以得到所述手语图片序列对应的时序特征向量；所述映射模块，用于根据所述时序特征向量，确定所述手语图片序列对应的目标文本序列；

文本输出模块，用于输出所述目标文本序列。

再一方面，本发明实施例公开了一种用于数据处理的装置，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于进行以下操作的指令：

基于手语翻译模型，确定手语图片序列对应的目标文本序列；其中，所述手语翻译模型包括：卷积神经网络、长短期记忆网络和映射模块，所述卷积神经网络用于提取所述手语图片序列的图像特征；所述长短期记忆网络，用于对所述图像特征进行时序建模，以得到所述手语图片序列对应的时序特征向量；所述映射模块，用于根据所述时序特征向量，确定所述手语图片序列对应的目标文本序列；

输出所述目标文本序列。

又一方面，本发明实施例公开了一种机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得装置执行如前述一个或多个所述的数据处理方法。

本发明实施例包括以下优点：