[发明专利]一种面向多源大数据流的分布式索引方法

摘要

本发明公开了一种面向多源大数据流的分布式索引方法，可实现数据流高效存储、索引快速构建，并提供高并发的近实时查询服务。针对多源大数据流特点，本发明提出了三层的分布式索引结构：最底层是基于数据流元组的索引，中间层是基于数据流时间窗口的索引，顶层是基于数据源的索引。由于单个计算节点的资源和处理能力有限，无法有效应对潜在规模无限和实时到达的数据流应用场景，本发明设计出主从结构和P2P结构相结合的集群架构。集群中主要由索引构建节点，查询节点，查询分发节点，存储节点，主控节点这五种节点组成，同时考虑集群中的数据存储、负载均衡、可扩展性因素，使得各个节点相互协作，稳定运转，从而提供高效的服务。

主权项

1.一种面向多源大数据流的分布式索引方法，采用三层的分布式索引结构，实现多源大数据流高效存储、快速构建索引，并提供高并发的近实时查询服务，其特征在于具体为采用主从结构和P2P结构相结合的分布式集群架构，并通过将分布式集群架构中不同类型节点的有机组合，实现数据流元组存储、索引构建与维护，并提供高并发的近实时查询服务；所述分布式集群架构包括：主控节点，负责监控集群整体情况，协调集群中的所有节点；索引构建节点，负责接收数据流以及索引的构建和发布工作；存储节点，负责数据流元组的最终存储；查询节点，负责索引的维护以及响应查询请求；查询分发节点，负责分发查询请求，控制查询请求的负载均衡。