[发明专利]一种基于流及消息调度的实时数据计算及存储方法

权利要求书

1.一种基于流及消息调度的实时数据计算及存储方法，其特征在于，包括如下步骤：

步骤一、数据流缓冲，建立大数据高并发场景下的数据缓冲通道，采用kafka系统为数据消费者提供消峰后的稳定数据源；

步骤二、实时数据分析，通过准实时流计算引擎，根据实际需求完成海量实时数据的在线运算分析；

步骤三、实时数据存储，源数据根据时间点存入分布式时序数据库，实现大数据的实时性时序存储及历史数据检索；

步骤四、分析结果存储，根据实际需求将分析结果存入相应的分布式数据库。

2.根据权利要求1所述的基于流及消息调度的实时数据计算及存储方法，其特征在于，步骤二中，数据流缓冲时建立高吞吐，高可用的数据上报通道，同时通过扩展消息调度集群完成数据接收网关的横向扩展。

3.根据权利要求1所述的基于流及消息调度的实时数据计算及存储方法，其特征在于，步骤二中，实时数据存储在以分布式技术为基础的时序数据库opentsdb内，opentsdb是建立在hbase基础上的时序数据库，提供http形式的api数据接口。

4.根据权利要求1所述的基于流及消息调度的实时数据计算及存储方法，其特征在于，在线流式计算中，流计算引擎实时消费消息调度模块队列消息，根据关系型数据库mysql中存储的报警规则对比完成在线实时分析。

5.根据权利要求1所述的基于流及消息调度的实时数据计算及存储方法，其特征在于，分析结果推送到数据流引擎kafka，完成消息订阅关系。