[发明专利]基于融合模态内和模态间关系的数据处理方法及系统

权利要求书

1.一种基于融合模态内和模态间关系的数据处理方法，包括：

获取社交网络指向目标分类的样本数据，并将样本数据划分为训练集、验证集和测试集，获得训练集样本数据、验证集样本数据和测试集样本数据；

构建预设分类模型，所述预设分类模型包括特征提取网络，与所述特征提取网络相连的目标分类主任务网络和多模态主题信息辅助任务网络，所述特征提取网络包括文本特征提取网络和图片特征提取网络，所述多模态主题信息辅助任务网络包括文本模态网络、图片模态网络和模态间网络，用来获取文本模态网络内主题信息、图片模态网络内主题信息和模态间网络关系主题信息；

将所述训练集样本数据输入所述预设分类模型并利用预设的损失函数进行训练，使用门控机制融合主任务和辅助任务的输出，得到社交数据分类模型，所述社交数据分类模型用于对输入的待分类数据进行分类；

其中所述利用预设的损失函数进行训练包括通过主任务损失函数、辅助任务损失函数和联合损失函数，同时训练主任务和辅助任务；

其中所述获取文本模态网络内主题信息、图片模态网络内主题信息和模态间网络关系主题信息方法为：

使用文本模态网络和图片模态网络获得模态内主题信息；

使用以下公式获得文本模态和图片模态之间关系信息，并将其输入模态间网络获得多模态间关系主题信息：

其中，f_n为标准的非线性函数，为第t个文本和其对应的图片表示，且M为3阶的转换向量，d，m表示向量的维度大小，为可训练的参数，向量乘的结果为向量其中的每个

其中所述使用门控机制融合主任务和辅助任务的输出如下：

r＝(1-e)⊙h_n+e⊙(W_rh_topic)

其中，为社交网络用户最后的表示，为主任务的输出表示，h_topic为三种主题信息输出的表示，和为可训练的参数；

其中主任务损失函数：

其中，N为样本数目，y_i为第i个用户x_i的真实类别标签，δ为L₂正则化的系数，Θ为模型中的所有训练参数；

辅助任务损失函数：

其中，U为中间内容矩阵，p(z)为标准的正态分布，公式的前半部分用Kullback-Leibler散度来衡量模型学到的分布q(z|U)和真实的分布p(z)的相似性，第二部分为模型的重构损失，通过生成网络重构出原始输入，φ_K，表示训练参数；

联合损失函数：

其中，λ为权重，用来平衡主任务和辅助任务的损失函数。

2.根据权利要求1所述的方法，其中所述文本特征提取网络为BERT模型，所述图片特征提取网络为VGG模型。

3.根据权利要求1所述的方法，其中所述文本模态网络、图片模态网络和模态间网络基于变分自编码器框架构建。

4.根据权利要求1所述的数据处理方法，其中所述主任务的网络模型基于LSTM模型构建。