[发明专利]一种基于Storm的分布式流数据存储与查询方法

摘要

本发明提供一种基于Storm的分布式流数据存储与查询方法，本发明基于Storm数据流式计算框架，CEPHFS作为数据底层存储系统下，通过对分布式流式数据的特征分析，对数据进行实时的分区与索引构建，将分区好的数据块压缩存入CEPHFS。查找操作时根据数据块的key与temporal两个维度的属性，将查询分解为对应的子查询，并通过bloomFilter方法只读取可能含有所需数据的文件，由predicate选择出符合条件的数据，提交子查询结果合并后进行aggregate操作，返回给用户。充分利用计算资源来提高数据存储与查询的效率。本发明具有应用场景广泛、低时延、负载均衡的特点，并且能够实现高速存储。

主权项

1.一种基于Storm的分布式流数据存储与查询方法，其特征在于：通过在接收分布式流数据时实时建立若干隔离范围的B+Tree索引，达到阈值后存储到分布式文件系统，并在查询时进行查询分解，并行处理不同范围下的子查询，保持负载均衡，完成后合并返回实时存储结果，实现高吞吐量的流数据插入和查询，具体包括以下步骤：S1)、接收源数据并分发给下游单元构建索引结构；S2)、将索引结构压缩为数据块并写入分布式文件存储系统CEPHFS；S3)、基于查询条件和数据块信息将查询分解为若干独立的子查询；S4)、通过访问分布式文件存储系统CEPHFS分发给下游独立的查询处理单元的子查询；S5)、接收返回的子查询结果并合并返回给用户。