[发明专利]一种基于地理信息的层次化视觉特征提取方法

摘要

本发明公开了一种基于地理信息的层次化视觉特征提取方法。包括如下步骤：1)编写爬虫程序下载照片分享网站中的图像及其地理信息；2)利用图像词袋模型表达图像特征；3)结合地理信息，应用半监督主题建模方法将图像视觉单词按照视觉主题的形式组织起来；4)挖掘视觉主题的层次化特性，获取在不同尺度和侧面对特定地理位置进行描述的视觉特征；5)利用获取的层次化视觉特征，对图像进行聚类、分类和检索。本发明结合层次化主题建模和半监督学习，将图像高维视觉单词凝练成具有代表性的视觉主题，并将地理信息引入主题建模过程中，学习得到一个层次化视觉主题模型，将图像表示成多个视觉主题上的分布，据此获得了更具有语义表达能力的层次化视觉特征。

主权项

一种基于地理信息的层次化视觉特征提取方法，其特征在于包括如下步骤：1) 编写爬虫程序下载照片分享网站中的图像及其地理信息，具体包括：1.1) 编写爬虫程序，根据预定义的地点列表，从包含Flickr、Panoramio在内的照片分享网站上自动下载在指定地点拍摄的照片，构成图像集合$说明:\; D:\backslash CPC客户端\backslash cases\backslash inventions\backslash b3a25aa3-7d3a-4783-97e5-38c791695947\backslash others\backslash 1e049933-8c37-40b1-bc68-241415f1402f\backslash 100001\backslash dest\_path\_image004.jpg$其中$说明:\; D:\backslash CPC客户端\backslash cases\backslash inventions\backslash b3a25aa3-7d3a-4783-97e5-38c791695947\backslash others\backslash 1e049933-8c37-40b1-bc68-241415f1402f\backslash 100001\backslash dest\_path\_image006.jpg$是在第m个地点拍摄的照片集合，即：$说明:\; D:\backslash CPC客户端\backslash cases\backslash inventions\backslash b3a25aa3-7d3a-4783-97e5-38c791695947\backslash others\backslash 1e049933-8c37-40b1-bc68-241415f1402f\backslash 100001\backslash dest\_path\_image008.jpg$其中$说明:\; D:\backslash CPC客户端\backslash cases\backslash inventions\backslash b3a25aa3-7d3a-4783-97e5-38c791695947\backslash others\backslash 1e049933-8c37-40b1-bc68-241415f1402f\backslash 100001\backslash dest\_path\_image010.jpg$是在第m个地点拍摄的照片总数；1.2) 下载图像集合$说明:\; D:\backslash CPC客户端\backslash cases\backslash inventions\backslash b3a25aa3-7d3a-4783-97e5-38c791695947\backslash others\backslash 1e049933-8c37-40b1-bc68-241415f1402f\backslash 100001\backslash dest\_path\_image012.jpg$中每个图像所在的网页，利用页面解析程序对每个网页进行解析，去除HTML标记和标点符号后，保留页面上的GPS信息和地理相关的标签作为图像的地理信息；2) 利用图像词袋模型表达图像特征，具体包括：2.1) 对图像集合$说明:\; D:\backslash CPC客户端\backslash cases\backslash inventions\backslash b3a25aa3-7d3a-4783-97e5-38c791695947\backslash others\backslash 1e049933-8c37-40b1-bc68-241415f1402f\backslash 100001\backslash 432446dest\_path\_image012.jpg$中的每个图像i，提取尺度不变特征转换特征，最终对每个图像计算得到128维的SIFT特征描述算子：$说明:\; D:\backslash CPC客户端\backslash cases\backslash inventions\backslash b3a25aa3-7d3a-4783-97e5-38c791695947\backslash others\backslash 1e049933-8c37-40b1-bc68-241415f1402f\backslash 100001\backslash dest\_path\_image014.jpg$2.2) 对图像集合IMAGE中的每个图像i，选取$说明:\; D:\backslash CPC客户端\backslash cases\backslash inventions\backslash b3a25aa3-7d3a-4783-97e5-38c791695947\backslash others\backslash 1e049933-8c37-40b1-bc68-241415f1402f\backslash 100001\backslash dest\_path\_image016.jpg$的滑动窗口大小，提取梯度直方图特征，最终对每个图像计算得到m维的HOG特征描述算子，其中m的大小根据图像本身的大小而变化：$说明:\; D:\backslash CPC客户端\backslash cases\backslash inventions\backslash b3a25aa3-7d3a-4783-97e5-38c791695947\backslash others\backslash 1e049933-8c37-40b1-bc68-241415f1402f\backslash 100001\backslash dest\_path\_image018.jpg$2.3) 将图像集合IMAGE中的每个图像i对应的SIFT特征描述算子$说明:\; D:\backslash CPC客户端\backslash cases\backslash inventions\backslash b3a25aa3-7d3a-4783-97e5-38c791695947\backslash others\backslash 1e049933-8c37-40b1-bc68-241415f1402f\backslash 100001\backslash dest\_path\_image020.jpg$放入如下公式进行优化问题求解：$说明:\; D:\backslash CPC客户端\backslash cases\backslash inventions\backslash b3a25aa3-7d3a-4783-97e5-38c791695947\backslash others\backslash 1e049933-8c37-40b1-bc68-241415f1402f\backslash 100001\backslash dest\_path\_image022.jpg$$说明:\; D:\backslash CPC客户端\backslash cases\backslash inventions\backslash b3a25aa3-7d3a-4783-97e5-38c791695947\backslash others\backslash 1e049933-8c37-40b1-bc68-241415f1402f\backslash 100001\backslash dest\_path\_image024.jpg$其中$说明:\; D:\backslash CPC客户端\backslash cases\backslash inventions\backslash b3a25aa3-7d3a-4783-97e5-38c791695947\backslash others\backslash 1e049933-8c37-40b1-bc68-241415f1402f\backslash 100001\backslash dest\_path\_image026.jpg$表示w向量的1‑范数，C是一个预定义的常数，$说明:\; D:\backslash CPC客户端\backslash cases\backslash inventions\backslash b3a25aa3-7d3a-4783-97e5-38c791695947\backslash others\backslash 1e049933-8c37-40b1-bc68-241415f1402f\backslash 100001\backslash dest\_path\_image028.jpg$是稀疏惩罚项系数，w向量和x向量是优化问题求解的目