[发明专利]一种基于地理信息的层次化视觉特征提取方法

说明书

本发明公开了一种基于地理信息的层次化视觉特征提取方法。包括如下步骤：1)编写爬虫程序下载照片分享网站中的图像及其地理信息；2)利用图像词袋模型表达图像特征；3)结合地理信息，应用半监督主题建模方法将图像视觉单词按照视觉主题的形式组织起来；4)挖掘视觉主题的层次化特性，获取在不同尺度和侧面对特定地理位置进行描述的视觉特征；5)利用获取的层次化视觉特征，对图像进行聚类、分类和检索。本发明结合层次化主题建模和半监督学习，将图像高维视觉单词凝练成具有代表性的视觉主题，并将地理信息引入主题建模过程中，学习得到一个层次化视觉主题模型，将图像表示成多个视觉主题上的分布，据此获得了更具有语义表达能力的层次化视觉特征。

技术领域

本发明涉及图像特征提取和层次化主题建模，尤其涉及一种基于地理信息的层次化视觉特征提取方法。

背景技术

近年来，随着互联网、电信网和移动智能终端的飞速发展，越来越多的图像分享网站涌现出来，从世界各地拍摄的照片正以每天上亿的数量被上传到互联网上。飞速增长的图像数据除了给互联网用户足不出户游览环球的体验和为图像分析应用提供了更多的样本以外，也带来了如何对大规模数据进行自动图像聚类和分类的挑战。为了应对这一挑战，许多研究把重点放在了如何从图像中提取最具有代表性和区分性，并且能够体现图像语义信息的图像特征上。早期的工作主要集中在对图像浅层特征的应用上，例如图像的颜色和纹理特征。这一类特征能够较好地反映图像在像素级别上的特性，但是难以表达图像的高层语义。随着图像词袋模型的发展，逐渐有研究人员开始将主题建模的方法应用到图像特征提取中，以提高图像特征的语义表达能力。

LDA(隐狄利克雷分配)是一种应用广泛的传统主题模型，从2003年被提出直至今日，LDA及其衍生模型已经作为多种主题建模应用的核心算法，被用于解决文档摘要、跨数据集建模和文档主题演化追踪等多种问题和挑战，并且在实际使用中发挥了良好的效果。和传统的基于统计的一些文本归纳方法相比，主题模型在可观测的文档层和单词层间增加了一个隐含的主题层，并认为文档是包含有一个或多个主题，而每个主题又是不同比例词的组合。新增加的主题这一隐含层能使用户更好地理解一篇文档所涵盖的内容，而且在应用处理海量数据时起到了降维的效果。主题模型最初被用于处理文本数据，新闻报道和科学论文等；由于图像数据和文本数据具有某种程度上的同质性，因此在将图像中的特征点处理为视觉单词后，也可以使用主题建模方法对图像数据进行归纳整合，主题模型及以其作为核心算法的各类应用也因此具有处理多种模态数据的能力。

LDA等经典主题模型的一个核心假设是对文档的词袋模型表达。词袋模型假设每篇文档中词与词之间没有关联，并且相互之间的位置可互换。该假设在数学上易于推导，为主题模型带来了计算上的方便和处理数据时的快捷。通过将相似的视觉特征聚类成视觉单词，并将图像表达成视觉单词的集合，从而获得了图像的降维稀疏表达，能够很好地表达图像在视觉空间上的特性。然而，因为视觉单词的尺度过小，难以表达图像的高层语义，并且因为没有引入监督信息，得到的视觉主题往往比较隐晦，难以和现实中的语义形成对应关系。

作为对传统主题建模方法的改进，一些研究人员提出了层次化的主题模型，如层次化主题建模(hLDA)等。这一类方法虽然通过层次化的主题结构得到了文档和图像在不同粒度上的表达，但由于依然是非监督的方法，得到的主题难以和现实语义形成对应。还有一些研究人员提出了有监督的主题模型，如有监督主题建模(Supervised LDA)等，这一类方法则未能解决多尺度多粒度表达的问题，同时这一类模型的训练需要大量人工标注的数据，给模型训练带来了困难。因此，根据少量的标注数据和图像本身的特征，对主题模型施加内容和结构上的限制，从而使整体算法能够更加适应现实需求是图像特征提取与主题建模领域研究的重要方向。

发明内容

本发明的目的是克服现有技术的不足，提供一种基于地理信息的层次化视觉特征提取方法。

一种基于地理信息的层次化视觉特征提取方法包括如下步骤：

1)编写爬虫程序下载照片分享网站中的图像及其地理信息；