[发明专利]一种基于秩最小化的多标签图像标注结果融合方法

权利要求书

1.一种基于秩最小化的多标签图像标注结果的融合方法，其特征在于，包括以下步骤： 

1）抽取训练集图像的多种特征表示，训练集中的每幅图像都带有事先给定的语义标注词； 

2）在不同的特征表示下，分别训练各自的监督学习图像标注模型； 

3）对于一幅新的没有语义标注词的图像，用同样的方法抽取该图像的多种特征表示，使用这些特征表示分别输入到对应的监督学习图像标注模型来预测新图像的多标签标注结果； 

4）利用秩最小化优化算法将多个模型输出的多标签结果融合：对于不同特征表示下模型预测的结果向量，先把每一个结果向量转换为一个反对称的秩为2的关系矩阵，然后用这些关系矩阵建模一个秩最小化优化问题，解这个优化问题得到一个融合的关系矩阵，再由融合的关系矩阵构造融合的结果向量，最终由融合的结果向量得到融合的标注结果。 

2.根据权利要求1所述的一种基于秩最小化的多标签图像标注结果的融合方法，其特征在于，抽取训练集图像的多种特征表示的步骤为： 

1）图像分块：使用滑动窗口的策略，按照给定步长，将图像分成相互重叠的小块； 

2）分别计算每一个小块内图像的特征向量，整幅图像的特征表示即由这些图像块的特征向量组成。 

3.根据权利要求2所述的一种基于秩最小化的多标签图像标注结果的融合方法，其特征在于，所述特征向量是RGB颜色直方图或HSV颜色直方图或LAB颜色直方图或OPPONET颜色直方图或rg颜色直方图或Gabor纹理特征或Haar纹理特征或局部二元模式纹理特征或词包模型表示的SIFT形状特征。 

4.根据权利要求1或2或3所述的一种基于秩最小化的多标签图像标注结果的融合方法，其特征在于，在不同特征表示下分别训练各自的监督学习图像标注模型的步骤为： 

1）对每一幅训练图像，利用高斯混合模型对图像层条件概率密度建模，然后使用期望最大化算法计算模型参数得到该图像的条件概率密度； 

2）对每一个语义标注词，找出训练图像集合中含有该标注词的所有图像，以这些图像在图像层的条件概率密度为基础，利用高斯混合模型对语义层条件 概率密度建模，然后使用层次期望最大化算法计算模型参数得到该语义标注词的条件概率密度。 

5.根据权利要求4所述的一种基于秩最小化的多标签图像标注结果的融合方法，其特征在于，对一幅新的没有语义标注词的图像，用同样地方法抽取该图像的多种特征表示，使用这些特征分别输入到对应的监督学习图像标注模型来预测其多标签标注结果，其步骤为： 

1）使用与训练图像同样的特征抽取技术计算新输入图像的多种特征表示； 

2）使用每一种特征表示对应的监督学习图像标注模型预测输入图像的语义标注词并得到一个结果向量。 

6.根据权利要求5所述的一种对多个监督学习图像标注模型的多标签结果的融合方法,其特征在于，利用秩最小化优化算法将不同特征表示下的多个模型输出的多标签结果融合的步骤为： 

1）将各个结果向量分别转换为反对称的秩为2的关系矩阵的表示形式，这些关系矩阵都分别等于融合的关系矩阵加上一个对应误差矩阵； 

2）在1）的约束下，通过最小化融合的关系矩阵的奇异值之和使得融合的关系矩阵的秩逐渐减小到2，通过最小化所有误差矩阵之和使得融合的关系矩阵能充分正确地结合各个模型的预测结果； 

3）使用非精确的增广拉格朗日乘子法迭代解出融合的关系矩阵的最优解，迭代过程中使用奇异值截取的方式使得融合的关系矩阵的秩逐渐收敛到2； 

4）使用融合的关系矩阵反向计算出的融合的结果向量，根据融合的结果向量最终确定输入图像的语义标注词。