[发明专利]实时数据存储与查询方法

摘要

本发明提供一种实时数据存储与查询方法，存储时，通过采用一致性哈希分片将待存储数据进行划分，在分布式存储系统的至少一个分布式节点中得到携带有一致性哈希分片索引信息的一级索引数据，对同一个分布式节点中的至少两个一级索引数据进行归并处理，形成与该分布式节点相对应的分布式文件块，对分布式文件块内的一级索引数据建立聚簇索引，在与分布式节点对应的分布式文件块内得到携带有聚簇索引信息的二级索引数据，并将该分布式文件块内的二级索引数据写入到对应分布式节点所在的磁盘上，查询时，通过对待查询数据存储时建立的一致性哈希分片索引信息和在分布式文件块内建立的聚簇索引信息，能够准确、快速的定位到需要的结果。

主权项

一种实时数据存储方法，其特征在于，包括：通过一致性哈希分片将待存储数据划分到分布式存储系统的至少一个分布式节点中，得到与所述至少一个分布式节点分别对应的一级索引数据；其中，所述一级索引数据为被划分到所述至少一个分布式节点中的、携带有一致性哈希分片索引信息的部分待存储数据；将与所述至少一个分布式节点分别对应的所述一级索引数据存储到数据缓存系统中；所述数据缓存系统位于内存中；通过对与所述至少一个分布式节点分别对应的至少两个所述一级索引数据进行归并处理，得到与所述至少一个分布式节点对应的至少一个分布式文件块；所述归并处理是指对同一分布式节点中至少两个所述一级索引数据进行归并、排序以及组装的过程；通过对与所述至少一个分布式节点对应的至少一个分布式文件块内的、经过归并处理后的至少两个所述一级索引数据建立聚簇索引，得到与所述至少一个分布式节点分别对应的二级索引数据；其中，所述二级索引数据为与所述至少一个分布式节点分别对应的、位于所述至少一个分布式文件块内的、携带有聚簇索引信息的至少两个所述一级索引数据；将与所述至少一个分布式节点分别对应的所述二级索引数据分别写入所述至少一个分布式节点所在的磁盘上。