[发明专利]基于粗-细粒度多图多标签学习的场景图像标注方法

权利要求书

1.一种基于粗-细粒度多图多标签学习的场景图像标注方法，其特征在于：包括以下步骤：

步骤1：获得原始场景图像数据集与对应的标签集；

步骤2：对原始场景图像数据集进行数据预处理，得到多图数据结构即图包，并选取一部分作为训练集；

首先按场景图像的各个标签把图像切割成多个区域，每个区域对应于一个标签；然后使用超像素分割算法将图像的每个区域分割成多个超像素结点，相邻的超像素结点之间有边相连；每个超像素结点的标签取颜色直方图特征和方向梯度直方图特征的向量合值；因此图像的每个区域被转化为一个图，则一个场景图像则被表示为多图结构，即图包；

步骤3：将多图数据映射到高维特征空间，并通过定义基于图核的图级分值函数对图包中各个图进行评分，以此建模标签与图之间的关系；

基于图核的图级分值函数，如下公式所示：

f_c(g)＝w_c,φ(g)                       (1)

其中，f_c(g)为标签c的图级分值函数，w_c是标签c的权重向量，g是训练集中的图包里的图，φ(·)表示使用特定的图核函数将图空间映射到具有内积·,·的Hilbert空间；

步骤4：从图包中选取最有价值的图作为代表图来定义每个标签的包级分值函数；

每个标签的包级分值函数，如下公式所示：

其中，B为图包，F_c(B)为标签c的包级分值函数，表示在标签c上实现图包B的最大分值的代表图，即为图包B中最有价值的图；

步骤5：设定与图包相关的标签的排名总在与图包不相关的标签之前，构建基于排序损失的目标函数；

步骤6：通过次梯度下降算法优化步骤5构建的基于排序损失的目标函数，得到每个标签的最优权重值，进而构建图级和包级的分类器，从而实现对未知多图数据包的标签集和包中图的标签集进行预测，完成场景图像的标注；

步骤6.1：采用次梯度下降算法通过两个阶段R轮迭代优化基于排序损失的目标函数，得到每个标签的最优权重值；

第一阶段，若此阶段在第一轮迭代中，随机从一个图包中选择一个图作为代表图；若在其它轮迭代中，使用上一轮迭代中第二阶段采用次梯度下降算法得到的最终权重值更新训练集中的代表图；

第二阶段，使用第一阶段得到的代表图运行次梯度下降算法，通过迭代更新每个标签的权重值得到每个标签的最优权重；

步骤6.2、通过对图级分值函数与包级分值函数设定阈值，并利用每个标签的最优权重值，分别构建图级分类器和包级分类器，从而实现对未知多图数据包的标签集和包中图的标签集进行预测，完成场景图像的标注；

如果有新的图或图包要进行标签预测，则利用步骤6.1得到的每个标签的最优权重值，计算该图对应标签的图级分值函数值或图包对应标签的包级分值函数值，如果图级分值函数或包级分值函数的函数值大于等于阈值，则对应标签预测为1，表示该图或图包具有标签，否则，如果其值小于阈值，则标记对应标签的预测为-1，表示该图或图包没有这个标签。

2.根据权利要求1所述的基于粗-细粒度多图多标签学习的场景图像标注方法，其特征在于：所述步骤5的具体方法为：

排序损失建立了预测标签与每个标签的排序得分之间的关系模型，若标签排序不正确会对目标函数进行惩罚，则基于排序损失的目标函数如下公式所示：

其中，W^*为目标函数的最优解，W为每个标签对应的权重向量构成的权重矩阵，λ表示正则化参数，C代表训练集中类标签的总个数，n代表训练集中图包的总个数，表示与图包B_i相对应的相关标签的索引集，是的补集，l_i表示|·|表示基数，w_q、w_p分别表示标签q、p的权重向量，分别表示在标签q、p上实现第i个图包的最大分值的代表图；另外对|a|₊，如果a0，则|a|₊＝a，否则|a|₊＝0；目标函数的第一项通过惩罚权重矩阵W的范数来控制模型的复杂度；第二项度量图g上的标签超平面在相关标签与非相关标签之间的差异。

3.根据权利要求2所述的基于粗-细粒度多图多标签学习的场景图像标注方法，其特征在于：步骤6.1所述运行次梯度下降算法，通过迭代更新每个标签的权重值得到每个标签的最优权重的具体方法为：

设定次梯度下降算法总共迭代T次，在第t次迭代时，基于排序损失的目标函数关于标签c的权重向量w_c的次梯度计算如下公式所示：

其中，表示第t次迭代时标签c的权重向量w_c的次梯度，对于若标签c＝p，则若c＝q，则否则

则第t+1次迭代时，标签c的权重向量其中，η_t＝1/(λt)为迭代步长；

通过消除递归，第t+1次迭代时标签c的权重向量重写为如下公式所示：

对上式(5)互换求和顺序，并定义：

将上式(6)转换为迭代公式：

再令与z_i＝λtnl_i，则第t+1次迭代时，标签c的权重向量改写成如下式所示：

由上式，将标签对应的权重w视为代表图在高维空间的加权和，其中μ代表权值，换言之，权重w用变量μ进行表示，不需要显示访问权重w；在第一次迭代时，变量μ初始化为零，并使用上一轮计算得到的标签对应的权重值对其进行更新；

在t+2次迭代时，使用计算次梯度为：

其中，为核函数。