[发明专利]一种基于大数据的图像检索方法及系统

说明书

本发明涉及一种图像检索的技术领域，揭露了一种基于大数据的图像检索方法，包括：获取海量图像数据，并将海量图像数据进行分布式存储；对所存储的海量图像数据进行图像灰度化和灰度拉伸的预处理；利用基于自编码器的多标签语义提取算法对经预处理的图像数据进行处理，得到图像的多标签语义信息；根据图像的多标签语义信息建立图像信息连接图；利用基于深度哈希的数据存储方法将结合图像信息连接图的图像数据进行存储，从而将哈希编码值作为图像特征索引，并根据图像特征索引进行图像检索。本发明还提供了一种基于大数据的图像检索系统。本发明实现了图像的检索。

技术领域

本发明涉及图像检索的技术领域，尤其涉及一种基于大数据的图像检索方法及系统。

背景技术

互联网时代，大量即时通讯软件、办公软件、购物平台、游戏平台等极大地便利和丰富了人们的学习、生活与工作，同时也产生了海量的多类别、异构性、非结构化的数据；图像数据以其直观性和信息大的特点数量爆炸性地增长，给人们生活带来极大的便利，但也因数量巨大、质量参差不齐、应用场景复杂等使得人们对图像的检索提出了更高的要求。

当前大多数的搜索引擎根据文本关键字检索图像，而检索关键字经常与图像的真实语义不匹配，因此检索性能受到影响；同时当前图像检索中主要采用对图像依次进行遍历的方式，而没有很好的索引机制来做索引，也增大了检索系统的负荷，并且传统的图像检索方法大多基于已有数据进行定时离线地构建图像索引，对于新增的图像检索存在时效性差的问题。

鉴于此，如何提取出更为准确的图像语义信息，并通过对图像语义信息进行索引编码，从而根据图像索引进行图像检索，成为本领域技术人员亟待解决的问题。

发明内容

本发明提供一种基于大数据的图像检索方法，通过HDFS将海量图像数据进行分布式存储，利用基于自编码器的多标签语义提取算法存储图像数据的多标签语义信息，并根据图像的多标签语义信息建立图像连接图，最后利用基于深度哈希的数据存储方法将结合图像连接图信息的图像数据进行存储，并根据图像的哈希索引进行更为高效的图像检索。

为实现上述目的，本发明提供的一种基于大数据的图像检索方法，包括：

获取海量图像数据，并将海量图像数据进行分布式存储；

对所存储的海量图像数据进行图像灰度化和灰度拉伸的预处理；

利用基于自编码器的多标签语义提取算法对经预处理的图像数据进行处理，得到图像的多标签语义信息；

根据图像的多标签语义信息建立图像信息连接图；

利用基于深度哈希的数据存储方法将结合图像信息连接图的图像数据进行存储，从而将哈希编码值作为图像特征索引，并根据图像特征索引进行图像检索。

可选地，所述将海量图像数据进行分布式存储，包括：

1)将k个图像数据合并为1个文件，其中k设置为10；并将合并得到的文件转换为字节码的格式；

2)创建图像存储表，设计两个列族MD(image data)、MI(image info)，所述列族MD和MI分别存放文件的字节码和图像信息，所述图像信息包括图像的id和图像特征索引；同时进行预分区操作，在本发明一个具体实施例中，分区数量为9，每个分区的RowKey范围为N/(9k)，其中N为图像数据的总数；

3)将海量图像数据存储到分区中的图像存储表，其中图像特征索引设置为空白。

可选地，所述对所存储的海量图像数据进行图像灰度化和灰度拉伸的预处理的流程为：

1)通过对所存储的图像中每一个像素的三个分量求最大值，并将该最大值设置为该像素点的灰度值，得到存储图像的灰度图，所述灰度化处理的公式为：