[发明专利]一种基于跨模态的快速多标签图像分类方法和系统

权利要求书

1.一种基于跨模态的快速多标签图像分类方法，其特征在于，包括以下步骤：

(1)获取待分类图像，使用Python图像库将该待分类图像转换为多维张量；

(2)将步骤(1)得到的多维张量输入到预先训练好的分类模型中，以得到待分类图像的分类结果。

2.根据权利要求1所述的基于跨模态的快速多标签图像分类方法，其特征在于，分类模型是通过以下步骤训练得到的：

(2-1)获取N张图像所构成的训练集和K张图像构成的测试集，将该训练集输入到ResNet-101网络中，以从该网络的池化层提取训练集中每张图像x∈{x₁,x₂,…,x_N}的D维特征向量f：

f＝F_gmp(F_cnn(x,θ_cnn))

其中N和K为自然数，且NK，F_gmp表示全局最大池化操作，F_cnn表示ResNet-101网络，θ_cnn表示ResNet-101网络的参数，D＝2048。

(2-2)获取训练集中所有N张图像的标签，将每个标签输入GloVe模型中，以生成每个标签对应的标签词向量(其是d维)，所有的标签词向量构成一个C×d维标签词向量矩阵Z，其中C表示标签的类别数目，d＝300，统计每类标签在训练集中出现的次数，根据每类标签在训练集中出现的次数计算任意两类标签之间的条件概率，所有条件概率构成一个C×C维关系矩阵A，将获取的标签词向量矩阵Z和关系矩阵A输入到GCN中，以获得所有C类标签对应的C×D维共现关系词向量矩阵W。

(2-3)使用跨模态融合网络中的多模态因子线性池化MFB对步骤(2-1)得到的D维特征向量f和步骤(2-2)得到的共现关系词向量矩阵W进行融合，以获得图像x的C维预测标签Y。

(2-4)根据步骤(2-3)得到的图像x预测标签Y，并使用多标签分类损失函数L对分类模型进行迭代训练，直到该模型收敛为止，从而得到训练好的分类模型，并获得此时图像x的预测标签Y。

(2-5)使用步骤(2-1)得到的K张图像构成的测试集对训练好的模型进行验证，直到得到的分类精度达到最优为止，从而得到训练好的分类模型。

3.根据权利要求2所述的基于跨模态的快速多标签图像分类方法，其特征在于，多标签分类损失函数L为：

其中，Y表示图像x的预测标签，表示图像x的第i个标签是否出现在图像中，表示图像x的第i个标签出现在图像中，表示图像x的第i个标签没有出现在图像中。