[发明专利]图像类别识别方法及装置

权利要求书

1.一种图像类别识别方法，其特征在于，包括：

将目标图像输入识别模型，所述识别模型包括图像子模块、文本子模块和特征融合子模块；

利用所述图像子模块获得所述目标图像的图像特征，以及利用所述文本子模块获得所述目标图像的文本特征，所述文本特征在所述目标图像包括文本的情况下，为根据所述目标图像中的文本内容进行识别获得的；

利用所述特征融合子模块，根据所述目标图像的图像特征和文本特征获得所述目标图像为第一图像类别的第一概率；所述第一图像类别包括作弊图像；

所述识别模型的训练方式包括：

根据损失值初步训练文本子模块和特征融合子模块；

在设定的第一学习率以下根据损失值训练图像子模块，以及在第一学习率以下根据损失值再次训练初步训练后的文本子模块和初步训练后的特征融合子模块；

在设定的第二学习率以下根据损失值训练再次训练后的文本子模块和再次训练后的特征融合子模块；

在初步训练阶段训练文本子模块和特征融合子模块时，冻结所述图像子模块，使得所述初步训练阶段不对图像子模块进行优化；

所述方法还包括：

将样本图像输入所述识别模型，利用所述图像子模块获得所述样本图像的图像特征，以及利用所述文本子模块获得所述样本图像的文本特征；

利用所述特征融合子模块，根据所述样本图像的图像特征和文本特征获得所述样本图像为第二图像类别的第二概率；

根据所述样本图像的文本特征，获得所述样本图像为第二图像类别的第三概率；

根据所述第二概率和第三概率，计算损失值；

根据所述损失值，训练所述识别模型。

2.根据权利要求1所述的方法，其特征在于，根据所述目标图像的图像特征和文本特征获得所述目标图像为第一图像类别的第一概率，包括：

合并所述图像特征和文本特征，得到合并特征；

对所述合并特征进行全连接操作，获得分类特征；

对所述分类特征进行归一化操作，获得所述目标图像为第一图像类别的概率。

3.根据权利要求1所述的方法，其特征在于，获得所述目标图像的文本特征，包括：

获取所述目标图像的文本分词；

计算所述文本分词的词向量，根据所述词向量得到所述目标图像的文本特征图；

对所述文本特征图进行卷积计算，获得所述目标图像的文本特征。

4.根据权利要求3所述的方法，其特征在于，获取所述目标图像的文本分词，包括：

若所述目标图像的内容包括文本，则根据目标图像的内容获得所述目标图像的文本分词；

若所述目标图像的内容不包括文本，则根据设定的默认文本获得所述目标图像的文本分词。