[发明专利]混合生成式和判别式学习模型的图像语义标注方法

摘要

本发明公开一种混合生成式和判别式学习模型的图像语义标注方法，在生成式学习阶段，采用连续PLSA对图像进行生成式建模，并得到相应的模型参数和每幅图像的主题分布；再将这个主题分布作为每幅图像的中间表示向量。在判别式学习阶段，使用构造集群分类器链对图像的中间表示向量进行判别式学习，在建立分类器链的同时也集成了标注关键词之间的上下文信息。在标注阶段，给定一幅未知图像，通过自动提取视觉特征和连续PLSA的参数估计算法可获得其主题向量的表示；再使用训练好的集群分类器链对这个主题向量进行分类；最后，将置信度最高的若干语义关键词作为图像的语义标注。本发明的标注和检索性能优于当前大多数典型的图像自动标注方法。

主权项

混合生成式和判别式学习模型的图像语义标注方法，其特征是，包括如下步骤：(1)对训练图像进行训练的过程，即(1.1)采用连续概率潜在语义分析方法建模训练图像的视觉特征，得到给定主题z_k下的高斯分布参数μ_k和Σ_k，以及每幅训练图像的主题向量P(z_k/d_i)；(1.2)利用每幅训练图像的主题向量P(z_k/d_i)和原始语义标注，采用多标记学习方法构造分类器链；(2)对测试图像进行标注的过程，即(2.1)利用步骤(1.1)得到的高斯分布参数μ_k和Σ_k，以及测试图像的视觉特征，采用期望最大化(Expectation Maximization，EM)方法计算每幅测试图像的主题向量P(z_k/d_new)；(2.2)利用步骤(1.2)得到的分类器链，对该主题向量P(z_k/d_new)进行测试图像的语义分类；(2.3)将置信度最高的X个语义类别作为该测试图像的语义标注；其中参数X为人为预设值。