[发明专利]零样本图像分类方法、系统、电子设备及存储介质

权利要求书

1.一种零样本图像分类方法，通过预先训练好的零样本分类模型执行，所述零样本分类模型包括第一神经网络层、基准神经网络层、全卷积神经网络层和第二神经网络层，所述方法包括：

通过所述第一神经网络层将多个未见类别的属性向量映射到图像特征空间，以得到所述多个未见类别的语义嵌入向量；

通过所述基准神经网络层提取输入图像的全局特征；

通过所述全卷积神经网络层，基于注意力机制对所述全局特征进行学习，以得到多个特征掩码；

对于所述多个特征掩码中的每个特征掩码，确定该特征掩码的各个元素值中的最大值作为该特征掩码的最大掩码值，以得到分别与所述多个特征掩码对应的多个最大掩码值；

基于所述多个最大掩码值中的最大值和预设的自适应因子，计算自适应阈值；

基于所述自适应阈值与所述多个特征掩码得到所述输入图像的加权全局特征；

对于所述多个未见类别中的每个未见类别，通过所述第二神经网络层计算所述加权全局特征与该未见类别的语义嵌入向量的相容性得分，以得到分别与所述多个未见类别对应的多个相容性得分；

确定所述多个相容性得分中的最大值作为最高相容性得分，并输出与所述最高相容性得分对应的所述未见类别作为对所述输入图像的类别预测结果。

2.根据权利要求1所述的方法，其中，基于所述自适应阈值与所述多个特征掩码得到所述输入图像的加权全局特征，具体包括：

通过下列操作对所述多个特征掩码进行自适应阈值处理：对于所述多个特征掩码中的每个特征掩码，响应于确定该特征掩码的最大掩码值小于所述自适应阈值，将该特征掩码的每个元素值重置为零；

以经过自适应阈值处理后的所述多个特征掩码作为注意力权重对所述全局特征进行加权，以得到所述加权全局特征。

3.根据权利要求1所述的方法，其中，基于所述自适应阈值与所述多个特征掩码得到所述输入图像的加权全局特征，具体包括：

通过下列操作对所述多个特征掩码进行自适应阈值处理：对于所述多个特征掩码中的每个特征掩码，响应于确定该特征掩码的最大掩码值小于所述自适应阈值，将该特征掩码的每个元素值进行平方处理；

以经过自适应阈值处理后的所述多个特征掩码作为注意力权重对所述全局特征进行加权，以得到所述加权全局特征。

4.根据权利要求1所述的方法，其中，基于所述自适应阈值与所述多个特征掩码得到所述输入图像的加权全局特征，具体包括：

通过下列操作对所述多个特征掩码进行自适应阈值处理：对于所述多个特征掩码中的每个特征掩码，响应于确定该特征掩码的最大掩码值小于所述自适应阈值，将该特征掩码的每个元素值与自衰减权值相乘，所述自衰减权值为预设权值因子与所述多个特征掩码的数量的比值；

以经过自适应阈值处理后的所述多个特征掩码作为注意力权重对所述全局特征进行加权，以得到所述加权全局特征。

5.根据权利要求1所述的方法，其中，通过所述第二神经网络层计算所述加权全局特征与该未见类别的语义嵌入向量的相容性得分，具体包括：

通过所述第二神经网络层，将所述语义嵌入向量的类别元素映射为相容性类别元素，所述相容性类别元素的数量与所述加权全局特征的特征元素的数量相同；

将所有所述相容性类别元素与所述特征元素作为一个元素整体，基于所述预设相容性函数，计算该元素整体的线性组合，以得到所述加权全局特征与该未见类别的语义嵌入向量的相容性得分。

6.根据权利要求1所述的方法，其中，在进行所述零样本分类模型训练时，基于平滑标签来构建图像类别标签的真实概率分布，并采用最小化交叉熵损失来更新所述零样本分类模型的参数，以使预测概率分布接近于所述真实概率分布。

7.根据权利要求1所述的方法，其中，在通过所述基准神经网络层提取输入图像的全局特征之前，所述方法还包括：

对待分类图像进行数据增广，所述数据增广包括图像尺度归一化、图像随机裁剪、图像数值归一化、图像翻转、图像缩放、图像旋转、图像倾斜中的一种或多种。