[发明专利]考虑模态间语义距离度量的多模态融合分类优化方法

权利要求书

1.一种考虑模态间语义距离度量的多模态融合分类优化方法，其特征在于，其包括以下步骤：

步骤1：将数据划分为训练集和测试集，对所述训练集进行预处理，获得预处理后的数据，利用深度神经网络对所述预处理后的数据提取数据特征，所述数据特征包括图像特征F₁和文本特征F₂；

对训练集进行预处理具体为：

步骤11：将所述训练集数据样本中的图文对分离，获得图像数据和文本数据；

步骤12：对所述步骤11中获得的文本数据利用Word2Vec进行编码，获得预处理后的文本数据；

所述深度神经网络包括图像深度特征提取网络和文本深度特征提取网络；

步骤2：将CBAM注意力机制中的通道注意力模型与空间注意力模型进行横向合并，即使通道注意力与空间注意力的输入一致，对于基于通道维度的注意力向量式和基于空间维度的注意力向量式进行对应元素相乘，得到混合注意力向量，获得改进的CBAM注意力机制，将所述步骤1中获得的数据特征输入所述改进的CBAM注意力机制，获得局部锁定特征空间，所述局部锁定特征空间包括局部锁定图像特征F′₁和局部锁定文本特征F′₂；

步骤3：构建基于模态间语义距离的语义逼进模型，具体包括以下步骤:

步骤31：根据所述步骤1中获得的训练集构建三元组，所述三元组包括正向对照样本组、锚样本组和负向对照样本组；

步骤32：将所述步骤31中建立的三元组输入所述步骤2中获得的局部锁定特征空间，获得锁定图文对特征；

步骤33：根据所述步骤32中获得的锁定图文对特征，增大不同类语义下所述锁定图文对特征的语义空间距离，缩小同类语义下所述锁定图文对特征的语义空间距离,建立基于模态间语义距离的语义逼进模型；

基于模态间语义距离的语义逼进模型具体为：

式中，为欧式距离度量；为锚样本组输入局部锁定特征空间获得的锁定图文对特征；为正向对照样本组输入局部锁定特征空间获得的锁定图文对特征；为负向对照样本组输入局部锁定特征空间获得的锁定图文对特征；α为特定阈值；N为批大小；τ为样本特征空间；L_p为图片三元损失；L_t为文本三元损失；

步骤34：对所述步骤33建立的基于模态间语义距离的语义逼进模型进行约束，获得目标函数；

步骤4：根据所述步骤1中获得的数据特征、步骤2中获得的局部锁定特征空间和步骤3中获得的基于模态间语义距离的语义逼进模型在特征公共子空间中设计多模态信息下的总体模型融合算法，获得融合损失函数，所述融合损失函数包括非对称融合损失函数Loss_n和对称融合损失函数Loss_y，利用所述融合损失函数进行模型的训练迭代。