[发明专利]图像分类方法及装置、电子设备、存储介质

说明书

本申请提供一种图像分类方法及装置、电子设备、存储介质，该方法包括：将待测试图像输入已训练的特征提取模型，获得特征提取模型输出的视觉特征向量；将视觉特征向量与不同分类器的权重向量进行点积计算，获得待测试图像与不同分类器对应类别的相似度；其中，多个分类器的权重向量是通过训练的图卷积网络模型计算得到的，图卷积网络模型是基于关系增强型知识图谱以及图注意力机制生成的；根据待测试图像与不同分类器对应类别的相似度，确定待测试图像所属的类别。本申请提供的技术方案，可以实现图像的分类。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种图像分类方法及装置、电子设备、计算机可读存储介质。

背景技术

近年来随着深度学习技术发展，基于有监督学习的方法出现了巨大的性能提升，尤其在图像识别方向，其准确率已经超过了人类的识别能力。为了获取分类精度，需要为数据集中每个目标类别提供大量有标签的训练样本。由于有监督方法学习得到的分类器无法很好地迁移到其他类别地图像集中，因此，每遇到一种新的场景便需要重新制作需要消耗大量人工的有标签数据集，这种对有标签数据集的需求极大阻碍了有监督学习的发展。

目前主要使用GCNZ和GPM模型技术，两种模型均利用词嵌入向量，通过基于类间关系构建知识图谱实现从已见类别到未见类别的知识迁移。

但是目前技术仍存在知识图谱构建方式过于单一，无论是GCNZ还是GPM，均只利用了WordNet关系网络中类别间的上下位关系(通过父子拓扑关系建立起来的关系并未表示出最相似的两个类别的连接关系，而是通过父节点连接间接建立起来的联系)，且在进行相似性计算时，通过两节点间路径长度设置权重，而未考虑到兄弟节点之间的关系，且节点之间相似性并不一定和距离呈负相关的关系。

零样本学习用于解决缺少标签数据的学习任务，但零样本图像分类方法仍存在无法有效利用外界丰富的先验知识的问题。

发明内容

本申请实施例的目的在于提供一种图像分类方法及装置、电子设备、存储介质，用以实现语义知识在类别间的迁移，来解决零样本学习出现的问题。

本申请实施例第一方面提供了一种图像处理方法，所述方法包括：

将待测试图像输入已训练的特征提取模型，获得所述特征提取模型输出的视觉特征向量；

将所述视觉特征向量与不同分类器的权重向量进行点积计算，获得所述待测试图像与不同分类器对应类别的相似度；其中，所述多个分类器的权重向量是通过训练的图卷积网络模型计算得到的，所述图卷积网络模型是基于关系增强型知识图谱以及图注意力机制生成的；

根据所述待测试图像与不同分类器对应类别的相似度，确定所述待测试图像所属的类别。

在一实施例中，在所述将所述视觉特征向量与不同分类器的权重向量进行点积计算之前，所述方法还包括：

获取待测试图像集合；

提取所述待测图像集合中每个待测试图像的视觉特征向量；

将所述待测试图像的视觉特征向量输入已训练的图卷积网络模型，获得多种类别的分类器。

在一实施例中，在所述将所述待测试图像的视觉特征向量输入已训练的图卷积网络模型之前，所述方法还包括：

获取第一深度神经网络和第二深度神经网络；

叠加所述第一深度神经网络和第二深度神经网络，得到所述图卷积网络；

训练所述图卷积网络，得到所述图卷积网络模型。

在一实施例中，所述第一深度神经网络采用以下方式获得：

获取关系增强型知识图谱；

根据所述关系增强型知识图谱构建所述第一图卷积网络。