[发明专利]一种基于大数据的查询方法

说明书

技术领域

本发明涉及大数据处理，特别涉及一种基于大数据的查询方法。

背景技术

随着互联网和多媒体技术的蓬勃发展，图像检索逐渐成为用户获取信息的一种重要方式。图像容量一般都较大。在很多领域的应用中会产生大量的图像文件，随着高清化的普及，图像数据量势必会更大。需要对这些应用中产生的海量图像数据进行高效的存储和快速精确的检索。然而，目前的B/S架构的检索系统检索速度慢，并发性较差，且当图像数据和索引文件出现快速爆炸性增长时会造成性能瓶颈。

发明内容

为解决上述现有技术所存在的问题，本发明提出了一种基于大数据的查询方法，包括：

将图像文件存储在分布式文件系统的图像库中；对图像文件进行预处理，然后提取图像特征；对所提取的特征建立特征索引，将索引文件和图像文件存储在分布式文件数据库上；当用户向系统提交查询请求时，用户接口对提交的实例或图像特征进行特征提取，与特征索引库中的图像特征进行相似度比较后将匹配结果发送给用户。

优选地，所述在将图像文件存储在分布式文件系统的图像库中之前，还包括：

采用主从式结构搭建Hadoop集群，主节点用于集群中所有的任务调度和任务分配，从节点对主节点分配的任务进行计算和数据存储，并周期性地向主节点报告心跳信息；

数据存储层利用分布式文件数据库对海量图像数据进行分布式存储和建立分布式访问索引，采用MapReduce编程模型将图像数据进行分块，在Hadoop集群中的节点上进行处理，提取图像特征、进行图像匹配等计算，Web服务器接收用户输入的实例或图像特征，将其提交给Hadoop集群进行计算，然后通过Web服务器返回检索结果。

优选地，所述在将图像文件存储在分布式文件系统的图像库中，进一步包括：

(1)，在将采集的图像文件上传到分布式文件系统上时，为每个图像文件会生成唯一的图像ID，作为图像标识；

(2)检测图像文件是否被损坏，若被损坏，将该图像的ID标记为无效ID，并将无效ID输出到分布式文件系统中，若没被损坏，则允许正常上传；

(3)提取分布式文件系统中的图像的颜色、纹理、尺寸特征，并为每个图像生成图像快照；

(4)将图像ID、图像快照、颜色特征、纹理特征、尺寸特征索引写入到分布式文件数据库中。

优选地，所述提取图像特征进一步包括：

首先进行图像结构分析，对图像进行分割，通过突变检测和渐变检测分离出元素从元素中提取出图像的位置特征；然后通过计算元素中所有像素的平均值，根据预定的规则从分离出的元素里提取关键像素点，从关键像素点的集合中来提取颜色特征、形状特征、纹理特征，共同构成描述图像内容的特征空间；在提取关键像素点后对图像进行聚类，计算图像之间的相似度，根据相关性关系将元素重新进行组合；

其中图像之间的相似度根据以下过程来计算：

用P_i(i∈{1，2，…N})来表示库中的图像，N为图像数量，C_i，G_i，S_i，M_i分别表示第i个图像的颜色、纹理、形状、位置特征，用P₀表示用户提交的待检索的图像实例，其颜色、纹理、形状、位置特征分别用C₀，G₀，S₀，M₀来表示，待检索图像与第i个图像的相似度用D(P₀，P_i)表示：