[发明专利]一种基于半监督主题建模的图像标注方法

权利要求书

1.一种基于半监督主题建模的图像标注方法，其特征在于：

1)从互联网上得到图像，包括已有文本标注的图像，以及未标注图像；

2)利用一种类似于概率潜在语义分析的模型，对所有图像的视觉特征和文本标注之间的联系通过潜在主题进行建模；

3)构建所有图像的最近邻图，并根据由最近邻图进行建模得到的流形结构对步骤2)的模型进行调整；

4)通过期望最大化算法学习步骤2)的模型，并分别计算各个潜在主题与图像匹配的概率；

5)根据潜在主题匹配图像的概率计算每个文本标注匹配未标注图像的概率，并选择概率最高的文本标注对未标注图像进行标注。

2.根据权利要求1所述的一种半监督下的基于主题建模的图像标注的方法，其特征在于：步骤2)中的建模过程是按照如下方式进行的：对于每个图像i，首先用向量F_i表示图像视觉特征，向量W_i来表示图像文本标注，其中F_i＝{f₁，…，f_n}，其中f_u表示第u个视觉特征单词在第i个图片中出现的次数；W_i＝{w₁，…，w_n}，其中w_v表示第v个文本标注单词在第i个图片中出现的次数。

并假设f_i(其中i＝1，…，n)服从多项式分布w_i(其中i＝1，…，n)服从多项式分布未标注图像W_i＝0；然后用多项分布α建模图像与潜在主题Z_i的关系，

最后得到所有图像与潜在主题的匹配概率的对数似然为L，L的计算公式如下：

其中，I为图像总数，K为潜在主题总数，P(z_k|α)表示在α分布下潜在主题z_k与第i个图像匹配的概率，U为视觉特征单词总数，P(f_u|z_k，β)表示在β分布下视觉特征f_u与潜在主题z_k匹配的概率，V为图像文本特征单词总数，表示在分布下文本标注w_v与潜在主题z_k匹配的概率。

3.根据权利要求1所述的一种半监督下的基于主题建模的图像标注的方法，其特征在于：步骤3)中的最近邻图的构造方法为，所有图像构成最近邻图的点，若图像i与图像j的文本标注和视觉特征的重合度达到某个阀值，则在最近邻图中创建一条连接图像i与图像j的边。

4.根据权利要求1所述的一种半监督下的基于主题建模的图像标注的方法，其特征在于：步骤4)中使用期望最大化算法计算学习步骤2)的模型，并分别计算各个潜在主题与图像匹配的概率，以及三个多项式分布α，β，Φ。

5.根据权利要求1所述的一种半监督下的基于主题建模的图像标注的方法，其特征在于：步骤5)中利用步骤4)所得到的结果，从而获得文本标注匹配未标注图像的概率，并选取概率最大的文本标注对未标注图像进行标注，文本标注匹配未标注图像的概率P(w_v)的计算公式如下：

其中，K为潜在主题总数，p_ki为步骤4)所得到的潜在主题与图像匹配的概率，表示在分布下文本标注w_v与潜在主题z_k匹配的概率。