[发明专利]多模态数据处理方法和装置

权利要求书

1.一种多模态数据处理方法，其特征在于，包括：

终端获取多模态数据；

所述终端通过特征提取算法对所述多模态数据进行特征提取，以获得所述多模态数据的数据特征；

所述终端通过第一转换算法对所述数据特征进行转换，以得到第一数据特征，其中，所述第一转换算法用于将所述多模态数据映射至特定空间；

所述终端将所述多模态数据的所述数据特征、数据标签以及终端id传输至服务端；

服务端通过与所述终端id相对应的第二转换算法对所述第一数据特征进行转换，以得到第二数据特征，其中，所述第二转换算法用于将不同的所述特定空间中数据映射至同一空间；

所述服务端以所述第二数据特征作为输入，以所述数据标签作为输出，进行多模态表示学习，以对多模态表示学习算法进行训练，在所述多模态表示学习算法收敛的情况下，完成训练。

2.根据权利要求1所述的多模态数据处理方法，其特征在于，在所述终端将所述多模态数据的所述数据特征、数据标签以及终端id传输至服务端之前，还包括：

所述终端对所述多模态数据的数据标签进行无损其数学特性的加密；

所述终端将所述多模态数据的所述数据特征、数据标签以及终端id传输至服务端，具体为：

所述终端将所述多模态数据的所述数据特征、加密后的数据标签以及终端id传输至服务端。

3.根据权利要求2所述的多模态数据处理方法，其特征在于，所述无损其数学特性的加密为同态加密。

4.根据权利要求1所述的多模态数据处理方法，其特征在于，所述多模态数据的类型包括：语音模态数据、图像模态数据和文本模态数据，所述第一转换算法包括第一语音转换算法、第一图像转换算法和第一文本转换算法，所述终端通过第一转换算法对所述数据特征进行转换，具体为：

所述终端通过第一语音转换算法对语音数据特征进行转换，通过第一图像转换算法对图像数据特征进行转换，通过第一文本转换算法对文本数据特征进行转换。

5.根据权利要求1所述的多模态数据处理方法，其特征在于，所述第一转换算法与所述第二转换算法不互逆。

6.一种多模态数据处理装置，其特征在于，包括：

获取模块，用于终端获取多模态数据；

提取模块，用于所述终端通过特征提取算法对所述多模态数据进行特征提取，以获得所述多模态数据的数据特征；

第一转换模块，用于所述终端通过第一转换算法对所述数据特征进行转换，以得到第一数据特征，其中，所述第一转换算法用于将所述多模态数据映射至特定空间；

传输模块，用于所述终端将所述多模态数据的所述数据特征、数据标签以及终端id传输至服务端；

第二转换模块，用于服务端通过与所述终端id相对应的第二转换算法对所述第一数据特征进行转换，以得到第二数据特征，其中，所述第二转换算法用于将不同的所述特定空间中数据映射至同一空间；

训练模块，用于所述服务端以所述第二数据特征作为输入，以所述数据标签作为输出，进行多模态表示学习，以对多模态表示学习算法进行训练，在所述多模态表示学习算法收敛的情况下，完成训练。

7.根据权利要求6所述的多模态数据处理装置，其特征在于，还包括：

加密模块，用于所述终端对所述多模态数据的数据标签进行无损其数学特性的加密；

所述传输模块，具体用于所述终端将所述多模态数据的所述数据特征、加密后的数据标签以及终端id传输至服务端。

8.根据权利要求7所述的多模态数据处理装置，其特征在于，所述无损其数学特性的加密为同态加密。