[发明专利]一种基于语义和内容的半自动图像标注方法

说明书

技术领域

本发明涉及一种计算机图像搜索和图像标注方法，尤其是一种基于语义和内容的半自动图像标注方法。

背景技术

近十多年来，随着计算机网络技术的迅速发展、普及应用以及数据存储代价的大幅度下滑，多媒体数据库的使用变得越来越普遍。以图像、音乐、视频形式展现的多媒体信息无论在商业还是娱乐中都显现出了日益重要的作用。如何对如此大量的数据进行有效地管理和组织，并从中搜索出用户所需要的信息就成为非常重要的问题。对于多媒体数据，尤其是图像数据的浏览、搜索以及索引技术的研究已经有了很长时间的历史。如今，有关图像数据库和视觉信息搜索的话题已经变成了研究领域中最为活跃的一部分。

一个典型的图像搜索过程通常由一个初始查询和其后的一串相关反馈构成，通过这些反馈，用户对检索得到的内容做出评价。一个用户查询首先向系统提供了一组对于想要图像的描述。对于一个被标注了关键字的图像数据库来说，这些描述可以是一组关键字查询；对于一个被抽取了诸如全局亮度、像素点颜色百分比等量化特征向量的图像数据库来说，这些描述可以是一张案例图像。前一种的方式被称作为基于语义的图像搜索，后一种被称作为基于内容的图像搜索。对于一个基于语义的图像搜索系统，我们一般可通过人为标注或者机器标注的方法给数据库中的图像进行标注。人为标注精确度高，但效率低；机器标注效率高，但精确度低。对于一个基于内容的图像搜索系统，用户一般很难去定义这些描述，同时计算机程序也很难理解这些描述。此外，即使用户提供了一个比较不错的初始查询，如何让之后的反馈信息作用于系统也是一个很大的问题。

因此使用了人工标注的基于语义的图像搜索，使用了机器标注的基于语义的图像搜索以及基于内容的图像搜索这三种方式各有利弊，目前还没有一种能够结合上述三者优点的图像标注索引系统。

发明内容

本发明所要解决的技术问题是提供一种效率高、精确度高、交互方式友好的基于语义和内容的半自动图像标注方法。

本发明解决上述问题所采用的技术方案是：该标注方法包括以下步骤：

(1)建立基于语义和内容的反馈图像检索系统，该系统的模型用三元组表示为(F，Q，R(f_q，f_d))，其中F是由数据库中所有图像的语义特征向量和内容特征向量f构成的集合，Q是用户所表达的图像语义和内容信息需求的特征集，R(f_q，f_d)是计算f_q∈Q，f_d∈F得到的相似度，并按照R(f_q，f_d)计算得到的相似度大小从大到小排列的排列函数；

(2)用户提交基于关键词的查询，系统将关键词序列转换为一组语义特征向量ω′_i，每个关键词的对应权值与该关键词出现在查询序列中的位置成反比，系统使用排列函数R(f_q，f_d)对数据库中的所有图像做基于语义的查询，将查询结果按照排序的高低返回给用户；

(3)用户从查询结果中选择比较满意的图像并反馈给系统，系统再次使用排列函数R(f_q，f_d)对数据库中的所有图像做基于语义或者基于内容或者综合语义和内容的进行查询，找出所有与用户认为比较满意的图像相似的图像，并将查询结果按照排序的高低返回给用户，同时对每张图像相对应的标注信息的权值进行调整。

本发明所述的内容特征向量使用颜色特征向量和纹理特征向量。

本发明在步骤(3)做综合语义和内容的查询时，将颜色特征向量和纹理特征向量按一定的混合比结合，然后得到一个最终的相似度，该混合比是用户随自己的需求进行设定，也使用系统默认的混合比。

本发明在数据库中，每张图像与其对应的一组标注信息的权值构成语义网络，在每张图像与标注信息的权值的链路上都赋有一个用于表示图像和标注信息的权值间的相干度的权值。

本发明所述权值采用tf-idf权值，tf-idf的向量R为