[发明专利]基于网络热点话题的图像高级语义标注、检索方法及装置

说明书

技术领域

本发明涉及图像标注及检索领域，具体涉及基于网络热点话题的图像高级语义标注、检索方法及装置。

背景技术

图像是一种复杂的多媒体数据，包含了丰富的语义内容。图像的语义分为三个层次，第一层为底层语义层，即利用图像原始数据抽取得到的颜色、纹理等底层视觉特征；第二层为实体语义层，即利用提取的底层视觉特征，进行一定的逻辑推理，识别出图像中包含的对象类别，围绕图像的对象抽取的实体语义。第三层是抽象语义层即高级语义，包含了场景、行为和情感等高级的语义，是对实体语义的更高级的推理。

随着数字影像技术与互联网技术的发展，用户可以轻松的获得大量的图像。为方便用户从大量的图像中检索到符合需求的图像，图像标注技术应运而生。图像标注是指为图像添加能够描述其语义的关键词的技术。这样用户通过文本检索即搜索关键词就可以从网络上检索到相关图像。随着技术的发展，图像标注由人工标注发展为图像自动标注即通过寻找语义与底层视觉特征之间的关联关系，以此建立关系模型，实现对未知语义图像的标注。

目前，图像自动标注技术主要是指对图像底层语义和实体语义的标注，基于此，用户还无法通过输入高级语义内容的方式对图像进行检索。但随着互联网的发展，用户经常需要检索与高级语义内容相关的图像。比如，用户经常想要检索与网络热点话题相关的图像。此处，网络热点话题是指某一时间段内，网络上发生的(突发)事件或广为讨论的话题。一般体现为网页的点击率急剧上升或图像的查询、上传、下载量增多。

因此，目前急需一种对图像高级语义进行标注的方法，尤其是对图像有关的网络热点话题的标注方法。

发明内容

有鉴于此，本发明的目的在于提供一种基于网络热点话题的图像高级语义标注、检索方法及其装置，为实现用户通过高级语义对图像进行检索提供条件。

本发明实施例提供了一种基于网络热点话题的图像高级语义标注方法，所述方法包括：

一种基于网络热点话题的图像高级语义标注方法，其特征在于，所述方法包括：

以待标注图像的至少一个实体语义词为查询词，利用基于文本关键词的搜索引擎，从网络中检索与所述待标注图像的语义相似的图像和所述语义相似图像的伴随文本；

提取所述伴随文本中的主题，并基于所述伴随文本与所述主题的对应关系建立所述语义相似的图像与所述主题的对应关系；

将视觉特征相似并且具有相似主题的所述语义相似的图像聚合为一类，形成图像类集合；将视觉特征相似的所述语义相似的图像对应的相似主题聚合为一类，形成主题类集合；

建立所述图像类集合和所述主题类集合的对应关系；

根据所述待标注图像的视觉特征，从所述图像类集合中查找与所述待标注图像的视觉特征相似的图像类，并提取所述相似的图像类对应的主题类作为所述待标注图像的网络热点话题；

根据所述网络热点话题对所述待标注图像进行语义标注。

优选的，所述方法还包括预先对所述待标注图像进行实体语义标注的步骤，具体包括：

提取所述待标注图像的视觉特征；

根据所述视觉特征，从有限训练集中查找与所述待标注图像相似的候选图像；

提取所述候选图像的实体语义词，并利用所述实体语义词对所述待标注图像进行实体语义标注。

优选的，在所述提取所述候选图像的实体语义词之后，利用所述实体语义词对所述待标注图像进行实体语义标注之前，所述方法还包括：

根据所述实体语义词将实体语义相似的候选图像聚为一类，形成候选图像类集合；

从所述候选图像类集合中查找与所述待标注图像视觉特征最相似的候选图像类作为邻居图像类；

所述利用所述实体语义词对所述待标注图像进行实体语义标注包括：

利用所述邻居图像类的实体语义词对所述待标注图像进行实体语义标注。

优选的，所述根据所述实体语义词将实体语义相似的候选图像聚为一类，形成候选图像类包括

建立超图模型G(Vs，Ts)，并基于此获得超图模型的相似性矩阵H，其中，所述超图模型以与所述待标注图像相似的候选图像的集合Vs为顶点集，以所述候选图像的实体语义词的集合Ts为超边集；所述矩阵H中的元素Hij代表每个图像Vi与对应的实体语义词Tj的联系以及每个实体语义词与多个候选图像的共生关系；

根据所述相似性矩阵H，利用谱聚类算法，对所述超图模型进行聚类，将共享一定数量超边的候选图像聚为一类，形成所述候选图像类。

优选的，所述方法还包括：