[发明专利]多模态数据处理方法和装置

说明书

本申请公开了一种多模态数据处理方法和装置，方法包括：终端获取多模态数据；终端通过特征提取算法对多模态数据进行特征提取，以获得多模态数据的数据特征；终端通过第一转换算法对数据特征进行转换，以得到第一数据特征，其中，第一转换算法用于将多模态数据映射至特定空间；终端将多模态数据的数据特征、数据标签以及终端id传输至服务端；服务端通过与终端id相对应的第二转换算法对第一数据特征进行转换，以得到第二数据特征，其中，第二转换算法用于将不同的特定空间中数据映射至同一空间；服务端以第二数据特征作为输入，以数据标签作为输出，进行多模态表示学习，以对多模态表示学习算法进行训练。

技术领域场景

本申请属于人工智能技术领域，具体涉及一种多模态数据处理方法和装置。

背景技术

多模态学习从2010年起成为人工智能的热点之一。模态（Modality）指的是固定类型的信息来源，例如语音信息是一种模态，图像信息是另一种模态，文本信息是第三种模态等。模态也可以有非常广泛的定义，比如我们可以把两种不同的语言当作是两种模态，甚至在两种不同情况下采集到的数据集，也可认为是两种模态。在这种语境下，就可以理解多模态学习是相对于单模态学习的。我们所熟知的语音识别、图像识别、指纹识别等都属于单模态学习的应用，其输入的信息是同类型的；如果机器学习模型的输入来自多个不同类型的信息源，例如输入为淘宝评论（文本）及其配图（图像）的情感分类模型，就属于多模态学习模型。

但是在实现本申请过程中，发明人发现，目前至少存在以下问题：现有技术中，如果想要训练多模态数据处理模型，只能采用同一数据提供方的数据进行训练，如果同时使用多个数据提供方的数据进行训练将导致各个数据提供方之间的数据互相泄露，数据安全难以保证，模型训练效率较低。

发明内容

本申请实施例的目的是提供多模态数据处理方法和装置，能够解决目前的如果想要训练多模态数据处理模型，只能采用同一数据提供方的数据进行训练，如果同时使用多个数据提供方的数据进行训练将导致各个数据提供方之间的数据互相泄露，数据安全难以保证，模型训练效率较低的技术问题。

为了解决上述技术问题，本申请是这样实现的：

第一方面，本申请实施例提供了一种多模态数据处理方法，包括：

终端获取多模态数据；

所述终端通过特征提取算法对所述多模态数据进行特征提取，以获得所述多模态数据的数据特征；

所述终端通过第一转换算法对所述数据特征进行转换，以得到第一数据特征，其中，所述第一转换算法用于将所述多模态数据映射至特定空间；

所述终端将所述多模态数据的所述数据特征、数据标签以及终端id传输至服务端；

服务端通过与所述终端id相对应的第二转换算法对所述第一数据特征进行转换，以得到第二数据特征，其中，所述第二转换算法用于将所述不同的所述特定空间中数据映射至同一空间；

所述服务端以所述第二数据特征作为输入，以所述数据标签作为输出，进行多模态表示学习，以对多模态表示学习算法进行训练，在所述多模态表示学习算法收敛的情况下，完成训练。

进一步地，在所述终端将所述多模态数据的所述数据特征、数据标签以及终端id传输至服务端之前，还包括：

所述终端对所述多模态数据的数据标签进行无损其数学特性的加密；

所述终端将所述多模态数据的所述数据特征、数据标签以及终端id传输至服务端，具体为：

所述终端将所述多模态数据的所述数据特征、加密后的数据标签以及终端id传输至服务端。

进一步地，所述无损其数学特性的加密为同态加密。