[发明专利]一种分布式大数据计算引擎及架构方法

摘要

本发明公开了一种分布式大数据计算引擎及架构方法。计算引擎包括：分布式协调服务集群，用于为分布式应用提供协调服务、保存相关插件程序和业务数据库对象集合Schema配置文件；消息中间集群，用于传输不同类型的业务数据，所述业务数据包括原始数据、计算结果、快照数据、基线数据和报警数据；流式计算集群，基于Storm的底层计算框架，用于将时序指标大数据处理过程抽象为若干流程；可视化控制模块，用于将数据通过web的方式进行展现和管理；数据缓存集群，用于降低大批量计算时对流式计算集群内存的开销。本发明可以帮助大数据技术积累较少的企业，或者项目周期和人力紧张的项目团队便捷快速的实现海量时序指标数据的在线流式处理。

主权项

1.一种分布式大数据计算引擎，其特征在于，包括：分布式协调服务集群，用于为分布式应用提供协调服务、保存相关插件程序和业务数据库对象集合Schema配置文件，所述协调服务包括配置服务、分布式同步、节点监控；消息中间集群，为一个分布式的、支持多分区的、多副本的，基于的分布式消息系统，用于传输不同类型的业务数据，所述业务数据包括原始数据、计算结果、快照数据、基线数据和报警数据；流式计算集群，基于Storm的底层计算框架，用于将时序指标大数据处理过程抽象为以下几个主要流程：预处理、准实时计算、小批量计算、大批量计算、落地入库；流式计算集群包括预处理拓扑、统计拓扑、储存拓扑；可视化控制模块，用于将数据通过web的方式进行展现和管理；数据缓存集群，为流式计算集群辅助内存存储集群，用于降低大批量计算时对流式计算集群内存的开销。