[发明专利]基于消息总线的数据质量治理系统及方法

说明书

本发明涉及一种基于消息总线的数据质量治理系统，本发明通过消息总线接收多个数据发送端的发送的电力监测数据并分类保存；确定电力监测数据质量评估指标，构建数据质量规则校验库；采用基于灰狼‑天牛须搜索算法优化的k‑means聚类法对电力监测数据进行聚类，将电力监测数据划分成多个数据子集；对每个数据子集，通过LOF异常值检测算法进行准确性评估，通过所述数据质量规则校验进行完整性、一致性、可用性、实时性评估；通过改进的层次分析法计算各评估指标的权重，计算电力监测数据质量综合评价结果。本发明实现了电力监测数据多维度质量评估，提高了电力监测数据质量治理的可靠性。

技术领域

本发明涉及自动化信息系统技术邻域，具体涉及一种基于消息总线的数据质量治理系统及方法。

背景技术

随着自动化信息系统数最越来越多，电力系统规模和容量越来越大，信息量日趋庞大。随着监控终端的大力推广，监测对象特性差异，监测数据相关性运算进行预警作用逐步凸显。随着数据迅速增长，不同数据源的数据质量参差不齐，数据质量有不同的概念和标准，数据质量一般包括数据的准确性、完整性、及时性、一致性等定量描述。

对于大数据时代下的电力系统来说，其所需存储、处理的数据量大，数据来源和数据结构繁多复杂，为大数据的分析和应用带来很多挑战。特别是在终端据量不断增长，监测数据量不断上升的清况下，数据质量治理难度也在不断增加。同时，现有的设置校验规则、权重规则进行质量评价的模式还存在评价指标单一、不够准确的问题。

发明内容

本发明的目的在于提供一种基于消息总线的数据质量治理系统及方法，本发明能解决电力系统监测数据质量评估可信度差的问题。

为解决上述技术问题，本发明所设计的基于消息总线的数据质量治理系统，它包括数据接入模块、校验规则构建模块、聚类划分模块、质量评估模块和综合评价模块，其中，所述数据接入模块用于通过消息总线接收多个数据发送端的发送的电力监测数据；

校验规则构建模块用于根据预设的评估指标构建数据质量规则校验库；

聚类划分模块用于采用基于灰狼-天牛须搜索算法优化的 k-means聚类法对电力监测数据进行聚类，从而将电力监测数据划分成多个数据子集；

质量评估模块用于对各个数据子集，分别通过LOF异常值检测算法进行准确性评估得到电力监测数据准确性评估得分，并且，对各个数据子集，分别利用数据质量规则校验库进行电力监测数据完整性评估、电力监测数据一致性评估、电力监测数据可用性评估和电力监测数据实时性评估，得到对应的电力监测数据完整性评估得分、电力监测数据一致性评估得分、电力监测数据可用性评估得分和电力监测数据实时性评估得分；

综合评价模块用于通过改进的层次分析法计算电力监测数据准确性评估指标、电力监测数据完整性评估指标、电力监测数据一致性评估指标、电力监测数据可用性评估指标和电力监测数据实时性评估指标的权重，并利用上述各项指标的权重和各项指标评估得分计算电力监测数据质量综合评价结果。

所述校验规则构建模块还用于确定电力监测数据质量评估指标，所述电力监测数据质量评估指标包括电力监测数据准确性评估指标、电力监测数据完整性评估指标、电力监测数据一致性评估指标、电力监测数据可用性评估指标和电力监测数据实时性评估指标，质量评估指标包括准确性、完整性、一致性、可用性、实时性，可人为指定或根据需求选择。

上述技术方案中，所述采用基于灰狼-天牛须搜索算法优化的 k-means聚类法对电力监测数据进行聚类具体包括：

进行灰狼算法初始化，根据经验或需求设置设置群规模和聚类类别数，进行狼群初始化和聚类质心初始化；

初始化，灰狼算法(GWO，Grey Wolf Optimizer)初始化，设置种群规模N、解空间维度n、狼群初始化其中 i＝1,2，…，N；