[发明专利]一种电力大数据质量实时监控方法

摘要

本发明公开了一种电力大数据质量实时监控方法，其包括企业应用数据流实时输入、将数据流分批、采用DStreams进行流式计算、利用Spark批处理执行转换、Spark框架任务调度和内存管理和输出批处理结果。本发明利用基于流式计算技术的电力大数据质量实时监控方法，围绕电力企业数据生命周期，实现对供电企业数据的全过程质量管理，提升数据质量，保障数据的准确、及时、有效和可信，为数据的集成和挖掘应用提供有力保障。

主权项

一种电力大数据质量实时监控方法，其特征在于，包括以下步骤：1)数据流实时输入，定义计算拓扑，定义一个算法与框架的交互方式，定义好算法的输入结构和算法的输出结构，然后拓扑能够组合不同的算法来为用户提供一个统一的服务；2)将数据流分批，通过拓扑的加载与启动，对于每个节点来说，启动时需要加载拓扑，节点需要其他的信息，比如上游的数据来源与下游的数据输出；下游的数据输出的拓扑信息可以存储到Tuple中，拓扑本身是无状态的；拓扑的在线更新，实现不停止服务的情况下进行更新；3)采用DStreams进行流式计算，数据流通过将用户定义的一系列的RDD转化成DAG图；4)利用Spark批处理执行转换，将DAG转化成一个TaskSet任务集，而这个TaskSet就可以向集群申请计算资源，集群把这个TaskSet部署到Worker中运算；首先定义RDD，在RDD上做相应的转化动作，最后系统将这一系列的RDD投放到Spark的集群中运行；5)Spark框架任务调度和内存管理，接收步骤2)和步骤4)两种方式，完成计算；6)输出批处理结果。