[发明专利]基于图卷积的多标签图像分类方法、装置及设备

说明书

本发明提供了一种基于图卷积的多标签图像分类方法、装置及设备，涉及智能识别技术领域，该方法包括：获取待分类的图像；对待分类的图像进行特征提取，得到图像特征信息；将图像特征信息输入预先训练的多标签分类器；多标签分类器是由图卷积网络进行多标签关系建模，并学习得到的包括多标签关系信息的分类器；根据多标签分类器输出的至少一个标签分数，确定待分类图像对应的标签。本发明实施例提供的多标签图像分类方法、装置及设备可以提高图像分类精度。

技术领域

本发明涉及智能识别技术领域，尤其是涉及一种基于图卷积的多标签图像分类方法、装置及设备。

背景技术

由于在自然场景下，图像总是包含了多个标签，因此多标签的图像分类问题相比单标签更具有实际意义，多标签的图像分类(Multi-label image classification)的目的是为了把图像中所有物体都预测出来。由于图像包含多个标签，分类的结果组合数目相比单标签是指数级别的增长，相比于单标签图像分类问题来说，多标签图像分类问题难度更大、精度更低。

现有方法包括使用图(Graph)来建模标签之间的关系，以此来人为的给最后预测的结果加上约束，以便减少分类结果的数目。由于这种方法非常取决于人的先验知识和所建图的好坏，具有很大的局限性。由于深度学习(Deep Learning)的快速发展，人们现在开始利用深度学习的方法来解决多标签图像分类问题。目前使用深度学习来解决多标签分类问题主要分为两类：1.基于图模型的方法，主要使用循环神经网络(Recurrent NeuralNetwork，RNN)来建模图，非常依赖于输入标签的顺序，且由于RNN长度限制导致不灵活；2.基于注意力(Attention)机制，只建模了局部图片标签的关系而非全局关系。

发明内容

有鉴于此，本发明的目的在于提供一种基于图卷积的多标签图像分类方法、装置及设备，可以提高分类精度。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种基于图卷积的多标签图像分类方法，包括：获取待分类的图像；对所述待分类的图像进行特征提取，得到图像特征信息；将所述图像特征信息输入预先训练的多标签分类器；所述多标签分类器是由图卷积网络进行多标签关系建模，并训练得到的包括多标签关系信息的分类器；根据所述多标签分类器输出的至少一个标签分数，确定所述待分类图像对应的标签。

进一步，所述多标签分类器的训练过程包括：将每个标签表示为一个词嵌入向量，并将所述词嵌入向量和邻接矩阵输入图卷积网络，确定所述图卷积网络每层卷积层的映射函数；所述映射函数的输入为前一卷积层的特征描述子和所述邻接矩阵，输出为后一卷积层的特征描述子；其中所述邻接矩阵通过以下步骤确定：统计训练集中标签两两之间同时出现的次数，以及标签的总数量；根据所述次数和所述总数量确定所述训练集的概率矩阵；将所述概率矩阵作为所述邻接矩阵。

进一步，所述方法还包括：将所述概率矩阵转换成二值矩阵，并将所述转换成二值矩阵通过重新分配权重策略转换为重新分配权重之后的关系矩阵；将所述重新分配权重之后的关系矩阵作为邻接矩阵。

进一步，所述图像特征信息为所述待分类的图像对应的图像描述子；所述根据所述多标签分类器输出的至少一个标签分数的步骤，包括：将所述多标签分类器的输出矩阵与所述图像描述子做点积，得到至少一个标签分数。

进一步，所述图卷积网络包括的映射函数如下：

H^l+1＝f(H^l，A)

其中，特征描述子H^l和邻接矩阵A作为输入，特征描述子H^l+1作为输出，l表示卷积层的层数。

进一步，所述图卷积网络包括的映射函数如下：