[发明专利]图像自动标注方法、系统及电子设备

说明书

本发明涉及一种图像自动标注方法、系统及电子设备，接收待标记图像，将待标记图像输入到自动图像标注模型中，以使所述自动图像标注模型中的第二主干卷积神经网络、第二卷积注意力网络、第二多尺度特征融合分支网络依次对所述待标记图像进行处理，得到第K级第三图像特征图，并使所述自动图像标注模型中的第二标签预测网络对所述第K级第三图像特征图进行处理，得到所述待标记图像的语义标签，其中K为正整数。利用自动图像标注模型对待标记图像进行处理，可以方便快捷地对待标记图像进行标注，还可以在进行图像标注时能够提供不同比例的图像特征来对图像进行标注，从而使得对图像的注释更为全面。

技术领域

本发明涉及计算机视觉和人工智能技术领域，尤其涉及一种图像自动标注方法、系统及电子设备。

背景技术

自动图像标注方法被认为是解决原始图像及其语义信息之间语义鸿沟问题的一种有效方案，它是通过利用已经标注好关键词的训练集图像自动学习语义概念空间与视觉特征空间之间的潜在对应关系或映射模型，然后可以通过构造的映射模型来预测未标注的图像的语义信息。

现有的一些方法都是通过传统的机器学习和深度学习算法来构建语义概念空间到视觉特征空间的映射，例如，通过利用改进的FCM聚类算法将不同语义的图像数据集划分为不同的类，然后通过计算找到图像到类中聚类中心距离最近的一个类，统计类中出现次数最多的标注词即为图像的标注词；再例如，通过卷积神经网络提取图像特征，然后根据视觉距离计算邻域图像各个标签的贡献值并排序得到语义的关键词。

传统基于机器学习的图像注释方法中使用的图像特征无法表示不同抽象级别的视觉概念。而对于基于深度学习的图像注释方法，研究人员使用预训练的卷积神经网络提取图像特征进行图像标注，或者对图像标注基准数据集上的预训练卷积神经网络进行微调，以共同获得特征表示和分类器。研究人员使用的所有基本卷积神经网络都是为单标签图像分类任务设计的，也就是说，在这些卷积神经网络中，仅最后一层的输出特征用作分类器的输入，与卷积神经网络计算的底层特征图相比，顶层特征图对应于更高级别的抽象视觉概念。这意味着现有模型中仅分类器使用了最抽象的功能。

对于图像注释，使用的标签应是多种多样的，并且应具有不同的抽象级别。同时，在图像标注中，图像中物体的大小是不同的，并且相应的特征在不同的尺度上。例如，“云”和“苹果”可以用卷积神经网路底部区域的纹理和颜色来描述，但是需要从卷积神经网络的顶层学习更抽象的特征，例如“水果”和“花”。也就是说，现有的自动图像标注方法在进行图像标注时，仅能标注出最抽象的特征，不能提供不同维度的图像特征来对图像进行一个更全面的注释。

发明内容

为了克服现有的针对自动图像标注方法不能提供不同维度的图像特征来对图像进行一个更全面的注释的问题，本发明提供了一种图像自动标注方法、系统及电子设备。

第一方面，为了解决上述技术问题，本发明提供了一种图像自动标注方法，包括以下步骤：

接收待标记图像；

将待标记图像输入到自动图像标注模型中，以使所述自动图像标注模型中的第二主干卷积神经网络、第二卷积注意力网络、第二多尺度特征融合分支网络依次对所述待标记图像进行处理，得到第K级第三图像特征图，并使所述自动图像标注模型中的第二标签预测网络对所述第K级第三图像特征图进行处理，得到所述待标记图像的语义标签，其中K为正整数。

本发明提供的图像自动标注方法的有益效果是：通过利用自动图像标注模型对待标记图像进行处理，可以方便快捷地对待标记图像进行标注，此外，通过自动图像标注模型中含有的第二主干卷积神经网络、第二卷积注意力网络、第二多尺度特征融合分支网络以及第二标签预测网络对待标记图像进行处理，使得在进行图像标注时能够提供不同比例的图像特征来对图像进行标注，从而使得对图像的注释更为全面。

在上述技术方案的基础上，本发明的一种图像自动标注方法还可以做如下改进。

进一步，还包括：