[发明专利]基于粗-细粒度多图多标签学习的场景图像标注方法

说明书

本发明提供一种基于粗‑细粒度多图多标签学习的场景图像标注方法，涉及图像分类技术领域。该方法首先获得原始场景图像数据集与对应的标签集，并对原始场景图像数据集进行数据预处理得到多图数据结构即图包；定义基于图核的图级分值函数和每个标签的包级分值函数；构建基于排序损失的目标函数；通过次梯度下降算法优化基于排序损失的目标函数，得到每个标签的最优权重值，进而构建图级和包级的分类器，从而实现对未知多图数据包的标签集和包中图的标签集进行预测，完成场景图像的标注。本发明方法基于定义的图级和包级分值函数，允许在粗粒度(包级)和细粒度(包中的图)上同时进行标签预测，扩展了传统多图多标签分类的范畴。

技术领域

本发明涉及图像分类技术领域，尤其涉及一种基于粗-细粒度多图多标签学习的场景图像标注方法。

背景技术

随着摄影设备的广泛应用以及互联网服务的发展，每天都会产生大量的场景图像。这些场景图像中的单幅场景图像一般会涉及多个主题，语义比较复杂。同时，互联网所产生的大量场景图像一般不具有能够充分描述图像内容的分类标签。对于这些语义复杂且不具备分类标签的海量场景图像，如何利用这些图像为互联网用户提供相关的服务，这是场景图像标注的核心任务。

目前的场景图像标注技术总是假设每个样本都可以表示为一个或多个特征向量(示例)的形式。但是图像往往具有复杂的语义，不仅包含局部信息还具有全局空间信息，这样示例表示会造成信息损失，无法准确描述图像的语义，从而无法准确预测图像标记。现实应用中，很多数据是以具有结构的图来表示的，而非特征向量。

多图多标签(MGML)分类方法可以很自然的应用在许多现实的学习任务中。在该框架下，研究对象被表示为多个图组成的包，并带有多个标签，学习任务是从训练样本中获得标签概念，为未标签的样本预测所有可能的标签。例如在基于内容的图像标注任务中，一幅图像往往有多个标签。一幅图像被划分为若干个区域，每个区域基于像素点或超像素点表示为一个图，这样一幅图像被表示为多个图组成的一个包。

然而，当前的多图多标签方法的缺点有两个方面。首先，所有现有的多图学习算法只能预测粗粒度级别(包)的标签，而不能预测细粒度级别(每个包中的图)。其次，目前研究工作中常用的预测多图包的标签的方法是找到最有代表性的子图，去掉那些不经常出现的子图，这样会丢失一些关键的分类信息。同时，发现最有代表性的子图的复杂度几乎总是NP(非确定性多项式)难的。为了在多实例多标签学习(MIML)中自动标签粗粒度和细粒度(如包和实例)级别的标签，已经进行了大量的研究工作。但MIML中使用的现有方法不能直接应用于MGML学习环境，因为图没有MIML学习模型所需的特征示例向量。

发明内容

本发明要解决的技术问题是针对上述现有技术的不足，提供一种基于粗-细粒度多图多标签学习的场景图像标注方法，实现对多图数据包的标签集和包中图的标签集进行预测。

为解决上述技术问题，本发明所采取的技术方案是：基于粗-细粒度多图多标签学习的场景图像标注方法，包括以下步骤：

步骤1：获得原始场景图像数据集与对应的标签集；

步骤2：对原始场景图像数据集进行数据预处理，得到多图数据结构即图包，并选取一部分作为训练集；

首先按场景图像的各个标签把图像切割成多个区域，每个区域对应于一个标签；然后使用超像素分割算法(SLIC)将图像的每个区域分割成多个超像素结点，相邻的超像素结点之间有边相连；每个超像素结点的标签取颜色直方图特征和方向梯度直方图特征的向量合值；因此图像的每个区域被转化为一个图，则一个场景图像则被表示为多图结构，即图包；

步骤3：将多图数据映射到高维特征空间，并通过定义基于图核的图级分值函数对图包中各个图进行评分，以此建模标签与图之间的关系；

为标签一个图，对图中每个标签定义基于图核的图级分值函数，如下公式所示：