[发明专利]自适应标签感知的图卷积网络跨模态检索方法、系统

权利要求书

1.一种自适应标签感知的图卷积网络跨模态检索方法，其特征在于，包括以下步骤：

步骤S100，基于第一子网络，获取输入信息的跨模态表示；

步骤S200，基于分类器，获得所述输入信息的预测分类；

其中，

所述第一子网络，配置为对输入信息进行特征提取，并通过模态转换函数，映射到统一空间中，得到输入信息的跨模态表示；

所述分类器，通过第二子网络生成；所述第二子网络，配置为基于标签与标签关系构造的图，获取该图的特征矩阵，并基于自适应关联矩阵，通过图卷积网络生成分类器；

所述第一子网络和所述分类器通过联合训练的方式进行优化获得，其训练网络包括第一子网络和第二子网络；

基于第一子网络获取训练输入样本的跨模态表示，基于第二子网络生成的分类器获取预测结果，并基于预设损失函数进行训练，获得训练后的第一子网络和分类器；

所述预设损失函数通过最小化同类别公共表示的分类损失、最大化不同类别的公共表示的模态不变损失的方法构建。

2.根据权利要求1所述的自适应标签感知的图卷积网络跨模态检索方法，其特征在于，所述预设损失函数为

其中，为分类损失，为模态不变损失，α为权重系数。

3.根据权利要求2所述的自适应标签感知的图卷积网络跨模态检索方法，其特征在于，分类损失为

其中，n为图像文本对数量，为第i个图像文本对中图像样本的预测标签，为第i个图像文本对中文本样本的预测标签，y_i为第i个图像文本对的语义标签向量。

4.根据权利要求3所述的自适应标签感知的图卷积网络跨模态检索方法，其特征在于，模态不变损失为

其中，Γ_ij表示图像模态v_i与文本模态t_j间余弦相似度，表示图像与文本模态间点积相似度，表示图像与图像模态内点积相似度，表示文本与文本模态内点积相似度，Φ_ij表示文本模态内余弦相似度，Θ_ij表示图片模态内余弦相似度，

5.根据权利要求1-4中任一项所述的自适应标签感知的图卷积网络跨模态检索方法，其特征在于，所述模态转换函数为

其中，v_i为图像模态，t_i为文本模态，d为统一空间的维数，R^d表示d维向量，表示图像模态的转换函数，其中θ_v为可训练参数集合，表示文本模态的转换函数，其中θ_t为可训练参数集合。

6.根据权利要求5所述的自适应标签感知的图卷积网络跨模态检索方法，其特征在于，所述自适应关联矩阵为

A＝ReLU(C+γD)

其中，ReLU()为激活函数，D∈R^c×c，D为可训练的关联矩阵，R^c×c为表示c×c的矩阵，C为固定的关联矩阵，γ为权衡参数。

7.一种自适应标签感知的图卷积网络跨模态检索系统，其特征在于，包括第一模块、第二模块；

所述第一模块，配置为基于第一子网络，获取输入信息的跨模态表示；

所述第二模块，配置为基于分类器，获得所述输入信息的预测分类；

其中，

所述第一子网络，配置为对输入信息进行特征提取，并通过模态转换函数，映射到统一空间中，得到输入信息的跨模态表示；

所述分类器，通过第二子网络生成；所述第二子网络，配置为基于标签与标签关系构造的图，获取该图的特征矩阵，并基于自适应关联矩阵，通过图卷积网络生成分类器；

所述第一子网络和所述分类器通过联合训练的方式进行优化获得，其训练网络包括第一子网络和第二子网络；

基于第一子网络获取训练输入样本的跨模态表示，基于第二子网络生成的分类器获取预测结果，并基于预设损失函数进行训练，获得训练后的第一子网络和分类器；

所述预设损失函数通过最小化同类别公共表示的分类损失、最大化不同类别的公共表示的模态不变损失的方法构建。