[发明专利]一种以图快速检索景点的方法及导游系统

权利要求书

1.一种以图快速检索景点的方法，其特征在于，包括以下步骤：

1)建立景点图像数据集；

2)图像库预处理：

计算数据集图像的平均亮度，分别去除亮度最高的1-3％的图片以及亮度最低的1-3％的图片；

去除不包含明确目标的图像；

3)图像视觉特征提取

对步骤2)处理后的景点图像数据集中每张图片采用SIFT特征描述子进行描述；所述SIFT特征是基于物体上的局部外观的兴趣点，与影像的大小和旋转无关；

4)生成主题相册

对步骤3)处理后的景点图像数据集进行POI的提取：通过图像库中的图像所带有的GPS信息，先按照地理位置对图像进行一次粗聚类，将粗聚类结果作为生成景点信息的第一步结果；同时在粗聚类结果中去除GPS信息错误的图像，得到计算粗聚类结果图像；

使用计算粗聚类结果图像的视觉相似度，找出在此粗聚类中出现频率最高的若干个视觉词汇，若此粗聚类中某张图片不包含这若干个视觉词汇或者仅包含一个，则将此图片从此粗聚类中去除；若此粗聚类中去除了超过一定比例的图片，则计算被去除的图片的视觉相似度，根据视觉相似度生成新的类，最后将所有被剔除并且没有分入新类的图片与所有景点再次进行相似度比对，小于阈值的则归入景点类，最终仍未归类的图片剔除出数据集，不再参与景点信息的生成；处理后得到主题相册；

5)添加文本信息，确定地理位置信息

将步骤4)得到的主题相册进行地理位置的确定：

采用先对主题相册的图片位置进行K-means聚类，得到景点可能的潜在位置，得到潜在位置后，先假设包含图片最多的位置为景点位置，若此位置位于其他位置所围成的多边形的内部时，则认定此位置即为景点的位置；若此位置在多边形外侧，但此位置所包含的的图片数远多于其他位置时，也认定此位置为景点位置；若各个位置的图片数量均衡，则取这些位置的中心作为景点位置；

位置信息确定后，各个主题相册即升级成为POI，通过对这些POI添加标题，文字描述，历史信息的文本描述，最终生成检索用的景点信息，至此建立了用于检索的景点信息数据库；

6)相似度贡献检索结构的建立

采用分级K-means聚类的方法来对景点信息数据库的特征进行量化，生成视觉词汇，根据视觉词汇与景点的对应关系建立相似度贡献快速索引结构；

7)检索

对用户提供的查询图提取视觉特征，并采用分级量化将视觉特征量化至相应的视觉词汇，根据相似度贡献快速索引结构获得最终的检索结果。

2.根据权利要求1所述的以图快速检索景点的方法，其特征在于，步骤5)中，采用m层，每层分k类的树形结构进行分级K-means聚类。

3.根据权利要求2所述的以图快速检索景点的方法，其特征在于，所述m为5，k为10。

4.一种基于权利要求3以图快速检索景点的方法的导游系统，其特征在于，包括客户端和服务端：

所述客户端协助用户拍摄景点照片，并对图片进行预处理，压缩，提取图像特征操作；对提取出的视觉特征进行筛选，压缩操作，后将经过预处理的图像特征信息发送至服务端；

所述服务端为一个常驻的检索程序，检索程序启动时将所有景点信息以及景点与图像集中图像的映射关系预先加载至缓存中，后挂起等待用户输入；当用户输入进入后即激活程序，进行检索算法，完成后将检索结果返回客户端。

5.根据权利要求4所述的导游系统，其特征在于，所述客户端安装在具有相机、显示屏以及网络传输功能的移动设备上，用于用户在游览景点时拍摄具体的景点图像并进行预处理，将所需信息上传至服务器用于检索。

6.根据权利要求4所述的导游系统，其特征在于，所述服务器端采用多线程架构，服务器端的检索流程如下：

1)获取用户输入

用户输入有两种情况，当用户网络条件较好时，客户端上传压缩后的图像文件，服务器端程序提取图片的SIFT特征；当用户网络条件较差时，客户端会先行提取图像的SIFT特征并进行传输；当服务器端检索程序获取到SIFT特征后进行存储，为下一步操作做准备；

2)量化图片并计算相似度

采用之前生成的相似度贡献快速索引结构计算查询图与数据中图片相似度，由于离线系统已经进行了分级聚类量化操作，并记录了每一层各个节点的信息，因此对图片进行快速量化；同时，相似度贡献索引在图片量化的同时进行图片的相似度计算工作，将相似度计算的时间复杂度从O(n²)降低至O(n)；

3)对景点进行打分并排序

当获取到查询图对数据集中所有图片的相似度后，通过图片与景点的映射关系获取查询图拍摄的是哪个景点的可能性得分，打分公式如下：

其中ss_i为第i个景点相对于查询图的得分，p_i为TopN结果中属于第i个景点的图片数，q为视觉词汇数，a_k为第j张图片中量化至第k个视觉词汇的特征个数，s_kj为第k个视觉词汇对第j张图片的相似度贡献。