[发明专利]可动态配置的大数据分析系统及方法

说明书

本发明公开了一种可动态配置的大数据分析系统与方法，所述系统包括实时数据存储管理模块、实时流分析计算模块、离线分析模块、可视化模块等四大模块，每一个模块中都设计了至少一个可进行动态配置管理的组件，如数据管理配置组件、实时流分析计算配置组件、离线分析计算配置组件、动态配置组件。本发明还提出了一种大数据分析系统的动态配置方法，设计了各组成模块的数据结构及消息结构，通过动态配置管理器中的警示数据结构的状态信息驱动系统的动态配置，提出了警示冗余度的计算方法及动态配置方法，通过上述方式，本发明能够使系统运行于一个高效率的大数据分析计算水平，有效地解决了大数据分析平台管理的优化过程。

技术领域

本发明涉及大数据分析应用领域，尤其是涉及一种可动态配置的大数据分析系统及方法。

背景技术

现在的商务智能系统、决策支持系统等日益要求支持大数据集成与分析，由于大数据分析计算的数据量大、过程复杂、处理时间长，因而大数据分析及应用也正面临着一种新的挑战：系统必须具有高可靠性，要求软件系统对变化具有自适应性，这些系统需要具有在不中断系统服务前提下更新配置的能力，容错管理问题，如何在更新失败的情况下处理异常，使系统保持正常稳定的运行。即动态配置技术是实现大数据平台软件自适应可靠性的一种重要手段。

早期的大数据并行处理框架Hadoop受限于单点故障及计算模式相对单一，Hadoop2.0引入YARN这一通用资源管理系统，提升了系统可靠性和整个集群的资源利用率，使其成为可以运行包括实时流处理框架Storm、Spark等多种大数据处理框架及编程模式，但提高大数据分析应用系统的容错能力，进一步使系统具有好的可靠性仍然是一个难题。

当前正广泛兴起的大数据引擎Spark技术最初由UC Berkeley大学的AMPLab实验室开发，现在是由Apache基金管理的开源项目。Spark的目标是满足绝大多数据数据处理以及挖掘的应用，使数据分析程序运行的更快，容错性更好的一种通用的支持内存计算的模型。Spark引入了弹性分布式数据集(Resilient Distributed DataSets)RDD模型，以充分利用内存资源提升计算效率。与其它的大数据处理框架不同的是，Spark可以在Shark、MLlib、GraphX和Spark Streaming的基础上利用一个引擎高效的处理从ETL到SQL到机器学习再到流数据的处理。使用Spark加Spark Streaming(或Shark,B1inkDB)用于实时和批处理；使用Spark Streaming加MLlib用于流处理和机器学习；使用Spark加GraphX用于图流水线等。但这种新的实时性流计算框架尽管实时性能与容错性能得到了大的改善，但系统的高可靠性与高可用性仍然是一个挑战性问题。

随着大数据平台中分布式系统规模越来越庞大、行为越来越复杂，系统中出现的各种故障也呈指数级增长，给工业界、政府部门带来非常严重的危害和损失，系统一旦发生停机事件，将会带来巨大损失和困扰，因此这些大数据分析系统需要具有在不中断系统服务前提下具有自动配置的能力，以提高系统的可靠性，增强系统风险控制能力，提高软件平台的整体运行效率。针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

本发明所要解决的技术问题是：提供用于大数据分析计算运行期的动态优化配置，以提高系统的可靠性，增强风险控制能力。

为了解决上述技术问题，本发明采用的技术方案为：提供一种可动态配置的大数据分析系统，包括：

实时数据存储管理模块，用于在分布式服务集群中获取实时流数据，并动态配置相关控制参数，并存储；

实时流分析计算模块，用于统计分析实时数据，获得实时计算结果，并对实时分析算法负载进行任务调整；

离线分析模块，用于统计分析离线数据，获得离线计算结果，并对离线分析算法负载进行任务调整；