[发明专利]一种分布式大数据计算引擎及架构方法

权利要求书

1.一种分布式大数据计算引擎，其特征在于，包括：

分布式协调服务集群，用于为分布式应用提供协调服务、保存相关插件程序和业务数据库对象集合Schema配置文件，所述协调服务包括配置服务、分布式同步、节点监控；

消息中间集群，为一个分布式的、支持多分区的、多副本的分布式消息系统，用于传输不同类型的业务数据，所述业务数据包括原始数据、计算结果、快照数据、基线数据和报警数据；

流式计算集群，基于Storm的底层计算框架，用于将时序指标大数据处理过程抽象为以下几个流程：预处理、准实时计算、小批量计算、大批量计算、落地入库；流式计算集群包括预处理拓扑、统计拓扑、存储拓扑；

可视化控制模块，用于将数据通过web的方式进行展现和管理；

数据缓存集群，辅助流式计算集群的内存存储，用于降低大批量计算时对流式计算集群内存的开销。

2.根据权利要求1所述的分布式大数据计算引擎，其特征在于：所述流式计算集群中：

预处理拓扑用于从消息中间集群订阅原始数据源并对数据进行预处理，将预处理结果进行准实时聚合处理；

统计拓扑用于对预处理之后的数据进行按不同时间粒度的批量聚合，包括两个子计算拓扑：小批量计算拓扑和大批量计算拓扑；

存储拓扑用于语言数据落地入库，对于最终计算结果落地提供基本框架支持；落地数据包括时序指标数据和快照文件数据两种。

3.根据权利要求2所述的分布式大数据计算引擎，其特征在于：所述预处理拓扑中，预处理插件由用户开发，计算规则由用户在数据库对象集合Schema中描述，负责对每一条原始数据执行具体的清洗策略。

4.根据权利要求3所述的分布式大数据计算引擎，其特征在于：预处理拓扑在数据预处理后把数据镜像一份发往消息中间集群，由用户进行后续备份处理。

5.根据权利要求4所述的分布式大数据计算引擎，其特征在于：所述统计拓扑中，小粒度的中间计算结果都会缓存到数据缓存集群中，供下一大粒度计算使用；同时，各粒度计算结果会落地到消息中间集群中，由存储拓扑订阅进行后续存储操作，从而实现数据计算和落地之间的解耦。

6.根据权利要求5所述的分布式大数据计算引擎，其特征在于：数据缓存集群缓存各粒度中间计算结果，以备下一时间粒度计算直接使用，从而减少数据处理量级。

7.根据权利要求6所述的分布式大数据计算引擎，其特征在于：所述流式计算集群还包括基线拓扑和/或报警拓扑。

8.一种如权利要求7所述的分布式大数据计算引擎的架构方法，其特征在于，包括：

明确源数据格式，对源数据需要做统一格式的封装，并标识数据时间戳；

配置源数据中各业务数据具体处理规则的Schema.xml文件，所有数据指标和维度的运算处理规则都由此文件进行描述；

通过实现提供的预处理插件接口类，来开发预处理插件，预处理插件运行在预处理拓扑中，负责对每一条原始数据执行具体的清洗策略；

用户通过实现提供的自定义算子插件接口类，来开发自定义算子插件；自定义算子插件运行在计算拓扑中，负责实现用户对数据指标和维度处理所需的自定义算子；所述自定义算子插件会接收到一批数据，将这些数据按自定义的计算规则计算后，将结果返回给调用者；

最终计算结果落地内置支持Mysql存储方案，如采用Mysql作为最终落地数据库，则建表和结果数据入库过程均由框架自动完成；如需采用其他落地方案，则通过实现运行在数据存储拓扑中数据存储插件接口类，来开发数据存储插件，负责计算后的数据进行存储。

9.根据权利要求8所述的分布式大数据计算引擎的架构方法，其特征在于：数据存储插件接收到最终计算结果数据，并将数据按自身业务需要进行存储。

10.根据权利要求9所述的分布式大数据计算引擎的架构方法，其特征在于：所述方法还包括：

用户根据自身业务需求来开发可扩展的拓扑来自定义处理或计算数据，并以独立计算拓扑的方式提交给引擎，由引擎加载运行；

配置app.xml文件中基础依赖集群地址和各计算拓扑运行时的关键控制参数，通过脚本启动运行各业务拓扑。