[发明专利]一种基于BigBase的海量图片搜索系统及方法

说明书

技术领域

本发明涉及计算机处理领域，尤其涉及一种基于BigBase的海量图片搜索系统及方法。

背景技术

当前，国内外有很多的搜索引擎提供图片搜索服务，其搜索方式大都是按照图片的关键字进行搜索，而基于图像内容的海量图片搜索引擎还没有通用的成熟产品。所谓基于图片内容的搜索引擎是指给定一张图片，在海量的图片库中能够检索到所有与其内容相同或者相似图片的搜索引擎。这种搜索引擎难产的主要原因在于随着信息社会的不断发展，图片的数量呈现出爆炸性增长的趋势，从而导致图片的总量过于庞大；而当前的图像匹配方法经过多年的发展，虽然已经很好地解决了图片两两比对的问题，但是由于其计算的复杂性，难以满足海量图片的实时搜索需求。因此，迫切需要从系统结构的角度，利用当前分布式系统的新思想和新方法结合已有的技术来解决旧的问题。

一方面，在图像匹配领域，近几十年来，许多研究者进行了广泛深入的研究，提出了大量的算法。目前的图像匹配算法主要有基于特征和基于区域两种方法。由于视角、拍摄时间、分辨率、光照强度、传感器类型等的差异，待匹配的图像往往存在平移、旋转、光照、尺度变化等差别。基于特征的方法首先从待匹配图像中提取特征集合。特征是图像的一些显著位置例如图像的边缘、角点等。基于特征的方法利用了图像的显著特征，具有计算量小，速度较快等特点，对图像的几何变形、噪声、畸变等具有一定的鲁棒性。因此，基于特征的方法成为当前研究最多应用最广的方法。在基于特征的匹配方法方面，David G.Lowe在2004年提出了一种基于尺度空间的，对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子——SIFT(Scale Invariant Feature Transform)算子。SIFT算法首先在尺度空间进行特征检测，并确定关键点(Keypoints)的位置和关键点所处的尺度，然后使用关键点邻域梯度的主方向作为该点的方向特征，以实现算子对尺度和方向的无关性。SIFT特征向量对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；同时该类特征向量个数多，即使少数的几个物体也可以产生大量SIFT特征向量；每一个向量的维数多，一般为128维；可扩展性好，可以很方便的与其他形式的特征向量进行联合。因此，SIFT算法一经提出，迅速成为该领域的一个经典算法。但是，基于SIFT特征建立海量图片库存在着很多难题，一是由于SIFT特征数量多，一副图片往往具有成千上万个特征向量，导致图片的特征库非常巨大；二是每个特征向量的维数高，一般为128维，高维向量的相似性计算一直是计算机界的研究难题。一个包含一亿张图片的特征库，至少要存储千亿条特征向量，传统的数据库已经无法有效地支持这种规模的应用。因此，必须解决特征库的海量存储和实时检索问题。

另一方面，在分布式系统的研究领域，近几年来有关云计算的一系列理论、方法和工具为解决大规模数据处理问题提供了新的手段。其中，基于开源实现的Hadoop和由北京亿联国科数据科技有限公司研发的商业数据库产品BigBase就是两个重要的大规模数据处理工具，前者用于构建集大规模数据存储(HDFS)和分布式计算(Map-Reduce模型)为一体的分布式系统平台；后者基于HDFS提供高可扩展性、高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。BigBase是中国第一款通用的商业版本NoSQL数据库，支持多索引列，支持单行事务，可以用来存储非结构化和结构化的松散数据。该数据库的特点是读写速度快，可以做到在线查询，同时支持大量用户的并发查询。与hadoop一样，BigBase目标主要依靠横向扩展，通过不断增加廉价的商用服务器，来增加计算和存储能力。BigBase可以用来存储非常大规模的表，一个表可以有上亿行，上百万列；支持面向列(族)的存储和权限控制，列(族)独立检索；能够更好地支持稀疏表，对于为空(null)的列，并不占用存储空间。因此，Hadoop和BigBase等工具的出现，为解决上述海量图片以及对应的海量特征库的存储和查询问题提供了有力的支持。