[发明专利]可动态配置的大数据分析系统

权利要求书

1.一种可动态配置的大数据分析系统，其特征在于，包括：

实时数据存储管理模块，用于在分布式服务集群中获取实时流数据，并动态配置相关控制参数，并存储；

实时流分析计算模块，用于统计分析实时数据，获得实时计算结果，并对实时分析算法负载进行任务调整；

离线分析模块，用于统计分析离线数据，获得离线计算结果，并对离线分析算法负载进行任务调整；

可视化模块，用于对实时计算结果及离线计算结果进行可视化展示，并在设置的时延范围内提供动态图表，及时显示集群服务运行状态和响应情况，对超过阈值数据进行报警处理。

2.根据权利要求1所述可动态配置的大数据分析系统，其特征在于，所述实时数据存储管理模块包括：

实时流数据获取组件，用于获取分布式服务集群中的实时流数据，并进行格式化、过滤、收集，并在收集过程中，完成流数据的分批工作；

实时存储组件，用于将格式化之后的数据交换格式异步发送至HDFS，将数据批进行存储；

存储管理配置组件，用于实时数据存储管理模块动态配置相关控制参数。

3.根据权利要求1所述可动态配置的大数据分析系统，其特征在于，所述实时流分析计算模块包括：

实时流处理组件，用于从HDFS中获取数据以进行实时分析，获取实时计算结果；并将实时计算结果持久化，发送给可视化模块，以及存储到HDFS中；

实时数据分析组件，用于对实时数据进行统计分析以及基于机器学习的智能分析，并对实时分析算法负载进行任务调度，实现负载均衡；

实时流分析计算配置组件，用于实时流分析计算模块动态配置相关控制参数。

4.根据权利要求1所述可动态配置的大数据分析系统，其特征在于，所述离线分析模块包括：

离线数据处理组件，用于从HDFS中获取离线数据以进行离线分析，获取离线计算结果，并将离线计算结果持久化，发送给可视化模块，以及存储到HDFS与NoSQL中；

离线数据分析组件，用于对离线数据进行统计分析以及基于机器学习的智能分析，并对离线分析算法负载进行任务调度，实现负载均衡；

离线数据分析计算配置组件，用于离线分析模块动态配置相关控制参数。

5.根据权利要求1所述可动态配置的大数据分析系统，其特征在于，所述可视化模块包括：

动态配置组件，用于协同上述模块，实现系统性能的配置优化；

实时分析视图组件，用于可视化展示实时计算结果，包括实时汇总、实时统计分析及智能预测的数据；

离线分析视图组件，用于可视化展示离线计算结果，包括主题消息的汇总、状态分析及智能预测结果的展示，以及所在地服务请求的统计汇总；

动态配置视图组件，用于展示配置数据，并关联到展示实时计算结果及离线计算结果的检测精度。