[发明专利]一种基于Storm的分布式流数据存储与查询方法

权利要求书

1.一种基于Storm的分布式流数据存储与查询方法，其特征在于：通过在接收分布式流数据时实时建立若干隔离范围的B+Tree索引，达到阈值后存储到分布式文件系统，并在查询时进行查询分解，并行处理不同范围下的子查询，保持负载均衡，完成后合并返回实时存储结果，实现高吞吐量的流数据插入和查询，具体包括以下步骤：

S1)、接收源数据并分发给下游单元构建索引结构；

S2)、将索引结构压缩为数据块并写入分布式文件存储系统CEPHFS；

S3)、基于查询条件和数据块信息将查询分解为若干独立的子查询；

S4)、通过访问分布式文件存储系统CEPHFS分发给下游独立的查询处理单元的子查询；具体包括以下步骤：

S401)、子查询服务器Subquery Server并行读取分布式文件存储系统CephFs中与子查询对应的数据块，先读取数据块中索引结构的模板部分，得到叶节点对于所有叶节点的相对offset和分组压缩后的offset，计算得到可能包含目标key范围的一系列叶子节点offset；

S402)、基于offset读取数据块文件中索引结构的叶节点部分，通过Snappy算法解压得到的叶节点分组数据块字节，反序列化为叶节点，并做时间范围和等值条件上的过滤；

S403)、对过滤后的一系列数据元祖进行aggregate操作，序列化后发送到查询调度器query dispatcher；

S5)、接收返回的子查询结果并合并返回给用户。

2.根据权利要求1所述的一种基于Storm的分布式流数据存储与查询方法，其特征在于：步骤S1)中，流数据存储系统接收的每个源数据为数据元祖，定义为d＝{d_k,d_t,d_r}，其中，d_k是元祖的主键，d_t是时间属性，d_r是元祖的其他属性值，K和T定义了一个主键和时间域的二维空间D＝(K,T)；主键范围固定，时间范围不断增加，主键K区间表示为K(k-,k+)，时间域T区间表示为T(t-,t+)，根据两个区间建立唯一的矩形r≤K，T≥{(k,t)∈R|k∈K,t∈T}。

3.根据权利要求2所述的一种基于Storm的分布式流数据存储与查询方法，其特征在于：将矩形r≤K,T≥{(k,t)∈R|k∈K,t∈T}范围内的数据元组写入唯一对应的模板B+Tree中，key作为索引，内存中达到阈值chunkSize大小的模板B+Tree以chunk形式存储到分布式文件系统，chunk由key数组和数据数组组成，key数组存储顺序的key值，包括一个指向数据数组的偏移量。

4.根据权利要求3所述的一种基于Storm的分布式流数据存储与查询方法，其特征在于：基于二维空间D＝(K,T)，流数据存储系统的查询条件定义为一个三元组q＝{K_q,T_q,f_q}，K_q,T_q是在主键和时间域上的条件选择范围，查询区间切分为一个r≤K,T≥{(k,t)∈R|k∈K_q,t∈T_q},f_q:t-＞{true,false}是用户自定义的条件过滤函数，用来判断是否满足用户的选择。