[发明专利]可动态配置的大数据分析系统

摘要

本发明公开了一种可动态配置的大数据分析系统，所述系统包括实时数据存储管理模块、实时流分析计算模块、离线分析模块、可视化模块等四大模块，每一个模块中都设计了至少一个可进行动态配置管理的组件，如数据管理配置组件、实时流分析计算配置组件、离线分析计算配置组件、动态配置组件。本发明还提出了一种大数据分析系统的动态配置方法，设计了各组成模块的数据结构及消息结构，通过动态配置管理器中的警示数据结构的状态信息驱动系统的动态配置，提出了警示冗余度的计算方法及动态配置方法，通过上述方式，本发明能够使系统运行于一个高效率的大数据分析计算水平，有效地解决了大数据分析平台管理的优化过程。

主权项

1.一种可动态配置的大数据分析系统，其特征在于，包括：实时数据存储管理模块，用于在分布式服务集群中获取实时流数据，并动态配置相关控制参数，并存储；实时流分析计算模块，用于统计分析实时数据，获得实时计算结果，并对实时分析算法负载进行任务调整；离线分析模块，用于统计分析离线数据，获得离线计算结果，并对离线分析算法负载进行任务调整；可视化模块，用于对实时计算结果及离线计算结果进行可视化展示，并在设置的时延范围内提供动态图表，及时显示集群服务运行状态和响应情况，对超过阈值数据进行报警处理。