[发明专利]基于网络热点话题的图像高级语义标注、检索方法及装置

权利要求书

1.一种基于网络热点话题的图像高级语义标注方法，其特征在于，所述方法包括：

以待标注图像的至少一个实体语义词为查询词，利用基于文本关键词的搜索引擎，从网络中检索与所述待标注图像的语义相似的图像和所述语义相似图像的伴随文本；

提取所述伴随文本中的主题，并基于所述伴随文本与所述主题的对应关系建立所述语义相似的图像与所述主题的对应关系；

将视觉特征相似并且具有相似主题的所述语义相似的图像聚合为一类，形成图像类集合；将视觉特征相似的所述语义相似的图像对应的相似主题聚合为一类，形成主题类集合；

建立所述图像类集合和所述主题类集合的对应关系；

根据所述待标注图像的视觉特征，从所述图像类集合中查找与所述待标注图像的视觉特征相似的图像类，并提取所述相似的图像类对应的主题类作为所述待标注图像的网络热点话题；

根据所述网络热点话题对所述待标注图像进行语义标注。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括预先对所述待标注图像进行实体语义标注的步骤，具体包括：

提取所述待标注图像的视觉特征；

根据所述视觉特征，从有限训练集中查找与所述待标注图像相似的候选图像；

提取所述候选图像的实体语义词，并利用所述实体语义词对所述待标注图像进行实体语义标注。

3.根据权利要求2所述的方法，其特征在于，在所述提取所述候选图像的实体语义词之后，利用所述实体语义词对所述待标注图像进行实体语义标注之前，所述方法还包括：

根据所述实体语义词将实体语义相似的候选图像聚为一类，形成候选图像类集合；

从所述候选图像类集合中查找与所述待标注图像视觉特征最相似的候选图像类作为邻居图像类；

所述利用所述实体语义词对所述待标注图像进行实体语义标注包括：

利用所述邻居图像类的实体语义词对所述待标注图像进行实体语义标注。

4.根据权利要求3所述的方法，其特征在于，所述根据所述实体语义词将实体语义相似的候选图像聚为一类，形成候选图像类包括

建立超图模型G(Vs，Ts)，并基于此获得超图模型的相似性矩阵H，其中，所述超图模型以与所述待标注图像相似的候选图像的集合Vs为顶点集，以所述候选图像的实体语义词的集合Ts为超边集；所述矩阵H中的元素Hij代表每个图像Vi与对应的实体语义词Ti的联系以及每个实体语义词与多个候选图像的共生关系；

根据所述相似性矩阵H，利用谱聚类算法，对所述超图模型进行聚类，将共享一定数量超边的候选图像聚为一类，形成所述候选图像类。

5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：

利用公式计算所述邻居图像类中的实体语义词与所述待标注图像的相关度；其中，ii为邻居图像类S中的邻居图像，iq为待标注图像；p(ii/iq)等于ii与所述iq的视觉特征相似度；

所述利用所述邻居图像的实体语义词对所述待标注图像进行实体语义标注包括：

按照所述相关度从大到小的顺序，从所述邻居图像类中选取预设数量的实体语义词对所述待标注图像进行实体语义标注。

6.根据权利要求1所述的方法，其特征在于，所述提取所述伴随文本中的主题，并基于所述伴随文本与主题的对应关系，建立所述语义相似的图像与所述主题的对应关系包括：

利用所述伴随文本建立LDA模型，基于所述LDA模型提取所述主题并建立图像-主题相关矩阵Rvt；

所述将视觉特征相似并且具有相似主题的所述语义相似的图像聚合为一类，形成图像类集合；将视觉特征相似的所述语义相似的图像对应的相似主题聚合为一类，形成主题类集合包括：

建立所述伴随文本的主题相关矩阵Rt；

利用图像的视觉相似性，计算所述语义相似的图像的视觉相似性矩阵Rv；

利用Rt、Rvt、Rv，建立复杂图模型G(Rv、Rt、Rvt)；

对所述复杂图G(Rv、Rt、Rvt)进行聚类，形成所述图像类集合和所述主题类集合。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述网络热点话题对所述待标注图像进行语义标注包括：

利用开方检验方法χ2提取与所述网络热点话题相关度最高的前K个词对所述待标注图像进行语义标注。