[发明专利]基于神经网络的自动图像标注方法、系统、装置和介质

说明书

本发明涉及一种基于神经网络的自动图像标注方法、系统、装置和介质，利用预先训练好的卷积神经网络模型提取实验数据集的图像特征；根据图像特征，在训练集中计算得到待标注图像的邻域图像集和对应的第一标签域；构建第一标签域与训练集对应的第二标签域之间的标签语义关联模型，根据标签语义关联模型，在第二标签域中计算得到与每个第一标签相关联的第三标签域；计算待标注图像与每个邻域图像之间的相似度，根据所有相似度得到每个第一标签成为目标标签的第一概率，并根据所有第一概率和标签语义关联模型得到每个第三标签成为目标标签的第二概率；根据所有相似度、所有第一概率和所有第二概率，得到目标标签，并根据目标标签完成标注。

技术领域

本发明涉及计算机视觉和人工智能技术领域，尤其涉及一种基于神经网 络的自动图像标注方法、系统、装置和介质。

背景技术

自动图像标注方法被认为是解决原始图像及其语义信息之间语义鸿沟 问题的一种有效方案，它是通过利用已经标注好关键词的训练集图像自动学 习语义概念空间与视觉特征空间之间的潜在对应关系或映射模型，然后可以 通过构造的映射模型来预测未标注的图像的语义信息。

现有的一些方法都是通过传统的机器学习算法来构建语义概念空间到 视觉特征空间的映射，例如，通过利用改进的FCM聚类算法将不同语义的 图像数据集划分为不同的类，然后通过计算找到图像到类中聚类中心距离最 近的一个类，统计类中出现次数最多的标注词即为图像的标注词；再例如， 通过卷积神经网络提取图像特征，然后根据视觉距离计算邻域图像各个标签 的贡献值并排序得到语义的关键词。

但是上述这些通过机器学习的模型来解决原始图像及其语义信息之间 鸿沟问题的方法，都有一定的缺陷。通过聚类的方法选取与聚类中心近的图 像的标签，通过传递最近邻的图像的标签来实现图像标注，这些聚类和最近 邻的方法虽然可以实现自动图像标注，但是都只考虑了图像与图像之间的关 系，而没有考虑到标签与标签之间的关系，且缺少对标签数量的预测，然而 在实际中，标签之间的关系也是预测图像的语义信息中的一个很重要的因 素。因此，上述两种利用聚类和最近邻的方法实现自动图像标注的方法，虽 然一定程度解决了原始图像及其语义信息之间的鸿沟问题，但是其标注准确 率不高，标注效果不佳。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足，提供一种基于 神经网络的自动图像标注方法、系统、装置和介质，不仅考虑了图像与图像 之间的关系，还考虑到标签与标签之间的关系，有效提高了标注准确率，标 注效果好。

本发明解决上述技术问题的技术方案如下：

一种基于神经网络的自动图像标注方法，包括以下步骤：

获取实验数据集，并利用预先训练好的卷积神经网络模型提取所述实验 数据集的图像特征；

从所述实验数据集的测试集中获取待标注图像，并根据所述图像特征， 在所述实验数据集的训练集中，采用k近邻方法计算得到所述待标注图像的 邻域图像集和与所述邻域图像集对应的第一标签域；

构建所述第一标签域与所述训练集对应的第二标签域之间的标签语义 关联模型，根据所述标签语义关联模型，在所述第二标签域中计算得到与所 述第一标签域中每个第一标签相关联的第三标签域；

计算所述待标注图像与所述邻域图像集中每个邻域图像之间的相似度， 根据所有相似度得到所述第一标签域中每个第一标签成为所述待标注图像 的目标标签的第一概率，并根据所有第一概率和所述标签语义关联模型得到 所述第三标签域中每个第三标签成为所述待标注图像的所述目标标签的第 二概率；

根据所有相似度、所有第一概率和所有第二概率，得到所述待标注图像 的所述目标标签，并根据所述目标标签完成自动图像标注。